绍兴三十二年，宋高宗从建康起驾返回临安城，一路上，他的心里并不是大难后的平静如水。万万没想到，时隔多年，自己又重新体会了一遍那种熟悉的感觉，什么感觉呢？就是金兵大军压境，自己时刻有生命危险的感觉，这种感觉又惊险又刺激，没经历过的人难以体会的到。无论如何，这场劫难总算是平息了，虞允文关键时刻挺身而出，完颜亮被部下所杀，金世宗令所有南征部队北返。不过对宋高宗来说，还有一个心腹之患也解除了，那就是金使在朝堂上跟他说的：赵桓已经被完颜亮杀死了。
说实在的，要是没有宋徽宗、宋钦宗的被俘，这皇帝宝座无论如何也轮不到他赵构来坐，宋徽宗像极了南唐后主李煜：治国不咋的，艺术水平那是顶呱呱，生育能力也是棒棒哒，生性好色的他有三十多个儿子，赵构排行老九，只是三十多分之一，并不被徽宗重视;金兵南下以后，钦宗两次派赵构前往金营，第一次是当人质，第二次是议和，都是非常危险的事情，很有可能就是一去不返，危难时刻，赵桓又何曾念及兄弟的安危？不过是应付金人、保全自己的一种手段罢了，赵构对其父、其兄的感情其实并不深，可能还有些不满。
而且，赵构继位以后最不愿意见到的恰恰就是徽宗、钦宗，因为钦宗是按照正式的传位诏书继位的，赵构则是危难时刻临时登基的，来路并不正，在人们心中，他只是个代理皇帝，真正的皇帝还是被俘的那个，有朝一日，一旦打败金兵，皇位还是让钦宗来坐。赵构对此心知肚明，所以当那父子俩被压往东北的时候，名将宗泽强烈要求夺回二圣，赵构只是呵呵，表现的就不积极，后来在江南安顿下来，岳飞这帮主战派天天嚷嚷着要迎回二圣，宋高宗心里很不是滋味。如何能让自己皇位永固？方法就是和金人议和，割地赔款杀岳飞都不在话下，只要金人不再南侵，不把钦宗放回来。
绍兴和议达成时，南宋方面要求把徽宗的棺椁和高宗的母亲韦太后送回江南，绝口不提赵桓的事，韦太后临行前，赵桓求她说：“到了以后替我向九弟求求情，把我也救回去，我不会抢他的皇位的。”韦氏连连答应：“如果我不说我眼睛就瞎掉！”钦宗能在这么屈辱的条件下苟且偷生三十多年，也是蛮拼的，也许他觉得赵构总有一天能救他回去吧，韦太后跟赵构说了这事以后，就不再提了，因为母子俩商议后取得了共识：绝对不能让这个危险人物回来！想想他老人家回来了，我们蹲哪里去？万一有人看高宗不爽，拥立赵桓呢？参考下明朝的夺门之变就知道了。
赵构其实就是想保住皇位，人之常情嘛，早年为了这个目的，他没少吃苦，没少受累，节操碎了一地。金兵突袭扬州的时候，仓促逃跑，颜面尽失，龙袍、仪仗都落到了金兵之手，苗刘兵变，皇位被废，关在破庙里，度日如年，后来金兵又南下，泛舟海上，颠沛流离，几乎绝望。稳定了以后还要天天注意不要让岳飞、韩世忠打的太过分，万一及金兵撑不住了，把兄长被放回来了呢！
现在赵构55岁了，能威胁自己皇位的因素基本上被扫除了，回想自己的一生，为了权力、地位不择手段，天天担惊受怕，繁重的国事又让能力一般的自己力不从心，皇帝果然是高危职业，身累心更累，看透了就觉得索然无味。随着年龄越来越大，他觉得是时候离开了，安享晚年，及时行乐。采石矶之战没多久，宋高宗主动下诏：宣布禅位给皇太子赵昚，主动退休。这实在是太难等可贵了，从古到今，多少人为了皇位争得头破血流，甚至被株连九族，如今高宗竟然主动退居二线，这在中国历史上几乎是个传说，大家知道乾隆爷也是这样，乾隆继位的时候向祖宗发誓：要是能让我在位60年，我就退休！在位60年，换算一下，意味着他85岁退位，估计他说的时候没料到自己能活到85，可宋高宗才55啊，放现在，这个年龄进政治局，前途无量，就是离60岁的退休年龄，也还差5岁呢。
告诉你一个公开的秘密，赵昚不是宋高宗的亲生儿子，因为扬州的那次逃跑后，赵构就生不出自己的儿子了，说是惊吓所致，如果要再具体些的话，估计除了他自己，没几个人知道更详细地情况吧，管他怎么搞的，反正是失去了生育能力。那么问题就来了，等赵构百年之后，谁来继承大宋皇位？出于对未来的负责，宋高宗决定海选太祖的子孙，进宫抚养。当初靖康之变时，汴京的皇族被金人一锅端了，统统压往东北，赵构只是漏网之鱼，相传当年宋太祖并不是自然死亡，而是斧声烛影，被宋太宗杀害，此后赵匡胤阴魂不散，时刻准备复仇，所以金人南下后，盛传金太宗和画像上的宋太祖长的极像，简直就是一个模子里刻出来，他是太祖附身，要把太宗的子孙全部抓往北方受苦受难。这时太宗子孙差不多没了，太祖的散落民间，赵构进行选拔。
通过紧张的初赛、复赛、决赛，只有两位选手站在了赵构面前，其激烈程度远超800多年后在同一个城市举办的《中国好声音》，放眼望去，两人一胖一瘦，赵构对胖的那个一见钟情，说你留下吧，瘦的正要走时，赵构又犹豫了，叫二人立正，他要再看一下，结果胖的那位有些得意忘形，见有一只猫咪跑过来，就无聊的踹了一脚，赵构看了以后，大为不满，这孩子怎么一点仁爱之心都没有！算了，把两人都养在宫里，长期考察。瘦的那位小朋友就是赵昚，当时他还不叫那个名字，进宫后养父给他取名赵瑷，胖则取名赵璩。可是宋高宗并不急于立太子，因为他毕竟年轻，抱有幻想，万一哪一天又能生了呢，可是，事情一点转机都没有，一晃几十年过去了，还是生不出来，赵构总算是屈服了，决定在两人中选一个接班人，至于选择的办法嘛，也是挺有新意的，带有赵构特色。
方法是两人各发了十位美女，发了以后什么都没说，赏你们俩的，领回家随便。赵瑷不知道皇帝葫芦里卖着什么药，有些疑惑不解，他的师傅史浩看出了里面的玄机，说不能动，这是在试探你呢！果然，不久以后，赵构下令，美女收回，接受体检，体检结果表面赵瑷对十位美女秋毫无犯，赵璩那边就不行了，基于以上结果，高宗坚定了决心，就是赵瑷了。其实这一招明显有问题，两人都三十多岁的正常人，怎么可能对女色一点兴趣都没有？这明显是比谁更会表演啊，因为赵构身体有问题，对女色不大感兴趣，所以他也顺其自然的认为别人也该和他一样，才是正确的。赵昚即位，是为宋孝宗，赵构则迁出大内，住进了德寿宫，德寿宫原为秦桧的府邸，秦桧死后赵构看重了那块地皮，不仅占为己有，还在旁边大兴土木，加以扩建，建成后规模宏大、金碧辉煌，东西长约250米，南北长70米，这个养老院可算顶级了。
养老金自然是由国库支取，每月接近百万缗，一缗相当于1000文钱，可以说是一笔巨款了，可赵构还是不满足，有一天赵昚和赵构喝酒，父子俩聊着聊着就聊到钱的问题了，当时宋孝宗已经喝醉，晕晕乎乎的，一听爸爸缺钱，当即拍板，回去以后不久就给爸爸送20万缗，结果一回去就忘了个一干二净，高宗问自己的皇后吴氏，儿子的钱送来了吗？吴氏不愿意因此伤害他们父子的感情，便说早就送来了，实际上是她拿自己的钱垫付的，真是谈钱伤感情啊，后来孝宗得知，非常感激，还了养母两倍的钱。晚年的赵构对书法、诗文、花鸟很感兴趣，他在德寿宫养了很多鹦鹉，这些可怜的鹦鹉都是手下千里迢迢从陇山抓来的，一天，赵构问这些背井离乡的鹦鹉们：“你们思乡嘛？”鹦鹉说：“很想念。”听到这里，赵构不由得想到自己不也是个远离故乡、清明扫墓还要办金国签证的人，便可怜起这些鹦鹉了，当即命手下放这些鹦鹉回陇山。多年后，南宋的使者出使金国，路过陇山，树上的鹦鹉看到是宋使来了，深情的问：“太上皇还好吗？”宋朝使者听后，擦了擦眼泪，忧伤地回答道：“太上皇他老人家已经驾崩了！”鹦鹉听了以后，都悲鸣不已。
当然，赵构虽退居二线，也不可能完全不插手朝政，偶尔还会影响一下，比如他曾经固执的要求孝宗把一个他偶然认识的人官复原职，而那个人被免官是因为贪污受贿，当然不是只大老虎，只是个被打到地上的小苍蝇，起初孝宗不同意，赵构强烈要求，理由是自己都答应人家了，办不成的话，面子上过不去，但大部分事务是不怎么插手的，就连北伐他也不大关心了。赵构竟然活到了81岁，这个也很不容易，他死后没多久，60岁的宋孝宗也觉得这皇帝没什么意思了，就学习养父，传位给了儿子光宗，父子两代帝王都主动退位禅让，在我国历史上绝无仅有。对此，清朝的太子胤礽表示非常不满：哪有当四十多年太子的！
一开始讨论谥号时，有大臣建议追封赵构为世祖，言下之意是把赵构和汉光武帝刘秀相提并论了，刘秀死后，汉明帝就追封他为世祖。但仔细一想，有可比性吗？虽然都重建了一个王朝，但光武帝的是个统一的国家，赵构的只是残山剩水，人们对刘秀的评价是远高于赵构的。赵构被葬于宋六陵的永思陵，陵墓元朝时被盗，估计现在也尸骨无存了。大家只能在史书、电视剧里隐隐约约看到赵构的痕迹，孩子们会感叹：原来我们国家曾经有这么一个皇帝呀。岳王庙依然人来人往，害死岳飞的元凶仍然跪在那里，只是那个最应该跪、而且应该跪在最前面的人没有出现……
