在宋高宗退位后，继承皇位的是宋高宗的养子赵昚，而为什么继位的是养子而非宋高宗的亲生儿子？其中的原因是宋高宗阳痿，失去了生育能力的宋高宗无法留下任何子嗣，所以最后从赵氏宗亲中挑选中赵昚继位。根据史书上的记载，关于宋高宗阳痿的事情主要是这样的：建炎三年的二月份，金朝的宗翰突然出兵袭击扬州，并且攻陷了天长地区，这个时候金军的前锋距离扬州只有几十里。之后有一天深夜时分，宋高宗正在和一个宫女寻欢作乐，突然听到宫外“金兵渡江了”的呼喊声，立马慌慌张张地带着少量的随从骑马逃出城，一路飞快行进，行至瓜洲坐船渡江逃走。而就是这次突然而来的惊吓，使得宋高宗得了非常严重的阳痿，从此没有了生育能力。
有人认为宋高宗的阳痿使得他出现了心理问题。原先的赵构武艺高强，骑射技艺极佳，并且还主张对抗金国，然而在之后却从主战派变成了懦弱地对金国卑躬屈膝，一味求和，所以有人认为原因是他在后期患上了阳痿的病。同时还有人认为宋高宗在退位后的二十几年晚年生活中，还非常热衷于与宫女寻欢作乐，不断宠幸宫女，纳取妙龄女子为妃，其中的原因也是因为他失去性能力后心理发生了扭曲。总的来说，宋高宗的阳痿给宋高宗带来的影响非常大，不仅使他的心理发生了变化，同时也使他没有子嗣能够继承他的皇位。
宋高宗在还没有失去生育能力之前曾有一个儿子，名叫赵旉。赵旉是宋高宗的儿子，而且还是唯一一个，因为在后期宋高宗因为受到惊吓而失去了生育能力，所以唯一的儿子颇受宋高宗的疼爱。他的母亲则是宋高宗的妃子潘贤妃。赵旉与建炎元年六月出生在南京，一出生就被宋高宗封为检校少保与集庆军节度使，受封魏国公爵位。建炎三年，因为金兵南侵，宋高宗赵构从南京逃往临安府，野心勃勃的苗傅、刘正彦两人趁此机会发动叛乱，强行逼迫宋高宗退位，做太上皇，历史上称这场叛乱为苗刘兵变。之后隆祐太后为了稳定朝中局势，出面下旨让赵旉继承皇位，并改年号为明受，而她垂帘听政。后来，一番周折后，苗傅等乱臣最终被当时的宰相张浚杀死，引发的叛乱也被平息。之后，赵旉退位，隆祐太后不再垂帘听政。赵旉在位时间极短，总共在位二十六天。平息叛乱后，赵旉也离开扬州，返回临安，然而在途中发了高烧。高烧期间，一个宫女走路时不小心，绊倒了放置在地上的炉子，发出了很大的声响，使赵旉受到了惊吓而死，当时赵旉还相当年幼，去世时年仅三岁。赵旉死后，宋高宗与潘贤妃非常伤心，整整哭了三天，处死了照顾不力的宫女和保姆，赵旉还被宋高宗追封为元懿太子。之后因为宋高宗失去了生育能力，没有子嗣，最后将赵昚认作养子，将他立为太子，由他继承皇位。
宋高宗的母亲是显仁皇后韦氏，是宋徽宗赵佶的嫔妃，开封人士。韦氏原来是郑皇后宫中的一名普通宫女，曾与另一名宫女乔氏交好并皆为姐妹，相约一人富贵时不能忘记另外一人。后乔氏得到宋徽宗宠幸被封为贵妃，韦氏得到乔氏的推荐而受到宋徽宗赵佶的临信。虽然韦氏先后升为平昌郡君、婕妤、婉容，但是她并不受宋徽宗宠爱，她的儿子赵构也不得宋徽宗的喜爱，直到金朝向宋朝要求宋徽宗的儿子到金做质子时，赵构自愿前往，韦氏才得以被宋徽宗封为龙德宫贤妃。世人口中有个关于宋高宗的母亲韦氏的传闻，传闻韦氏在被金兵抓为俘虏之后，曾被金兵当作战利品押送到北方，送入洗衣院，相当于妓院的地方，被金人当作了慰安妇，甚至还被迫嫁给了盖天大王为妾，给宋高宗赵构生了两个异父的兄弟。在赵构建立南宋的时候，金人还曾编写了关于韦氏的“秽书”传播于中原街市，为的就是借此侮辱赵构。
据说，宋高宗之所以杀岳飞，其中也有他母亲韦氏的原因。根据史书记载，公元1141年，当时宋高宗的母亲韦氏被扣押在金国做俘虏。有人认为当时金国派人来宋朝议和的时候，宋高宗提出了让金国放了他的母亲的议和条件，而金国也一定提出了相应条件，那个条件就是杀了岳飞，就放了他的母亲韦氏。并且历史事实就是宋高宗在与金国议和一年后，杀了岳飞。
宋高宗虽然在作为皇帝方面比较懦弱无能，在文学方面的才华还是较为高的。宋高宗书法在历史上非常有名，他有很多书法作品流传于世，例如颇为出名的草书《洛神赋》，还有《光明塔碑》、《顾恺之女史箴图题字》等。宋高宗书法非常优秀，他非常擅长真书、行书以及草书，笔法流畅端正、俊秀文雅，字里行间都颇有一番晋朝时期文人学士的神韵在。并且宋高宗书法还对南宋末年时期的书坛产生了很大的影响，有诸多后人相继效仿他的书法笔迹。可见，宋高宗赵构在我国书法历史上占据了一席之地。
宋高宗赵构的书法先是学习黄庭坚的书法，之后又改为向米芾学习，后来还曾临摹王羲之、王献之父子等人的书法，最后自成一家。宋高宗书法进步最快最大的时期还是他在退位成为太上皇之后。在宋高宗退位后的二十几年里，没有朝廷政事所打扰，宋高宗有足够的时间和精力去专注于他的书法，也就是因为这样，宋高宗赵构才在这段时间里将自己的书法水平又提高了一个层次。宋高宗赵构认为学习书法，应该先开始学习楷书，之后再学行书和草书，并且他还认为正草是不可以不学的，提出了一条循序渐进的学习书法的原则。而宋高宗提出的这条学习书法的原则非常具有科学性，楷书作为基本功学习扎实后，就会掌握各种笔画的笔势形态，之后就更能潇洒自如地御用行书和草书。总的来说，宋高宗书法非常优秀突出，对后世书法的影响也颇大。
