霍光本人身高七尺三寸，皮肤白皙，眉目疏朗，颜值很高，是当时有名的美男子。霍光的父亲名叫霍仲孺，在平阳侯家里当小官的时候，和一个侍女勾搭上了，这个侍女怀了他的孩子，刚好霍仲孺任满要到外地当官，二话不说立马就跑了，到了外地立刻娶了个老婆，生下了霍光，与那个侍女不再联系。但是没想到的是，这个侍女的妹妹最后竟成为了大汉朝的皇后，卫少儿跟随妹妹地位显贵，她生下的儿子就是日后名满华夏的西汉名将——霍去病！
就在霍去病集万千宠爱于一身时，他突然想起了自己的父亲，于是在一次西征途中，他前去寻找到了霍仲孺。当年不愿与侍女结婚而归家当了个小官的霍仲孺，如今当年的弃子已是权倾朝野的大将军，面对儿子可有半分羞愧之情？但霍去病没有过多责怪，他对于这个父亲还是有点感情的，给他置办了大量物品，然后带着他同父异母的弟弟霍光一同奔赴长安。
霍光才十几岁，霍去病就举荐他任郎官，随后迁任各曹官。元狩六年(前117年)，霍去病去世。霍光升任奉车都尉、光禄大夫等职位，侍奉汉武帝左右，前后出入宫禁二十多年，未曾犯一次错误。因此得到汉武帝的信任。在这一期间，霍光是一个小心翼翼侍奉君王的合格大臣，听君命，得君权，帮君王做事，无功亦无过，仅以谨小慎微著名尔，只是一个忠臣。
霍光不只谨慎，还极有悟性。在武帝身边的那些年，表面不说的他把什么都看在了眼里记在了心上。武帝托孤，让他集大司马大将军于一身，同时还领尚书事，也就是领丞相事。前两者是天下最高武职，后者系最高政职。这些权力归他使用，却非他所有。也就是说，他不是权力的真正主人，仍属权奴一族。当一个权力的行使者并不那么容易，他要警惕各方势力对权力的觊觎，冷枪暗箭都得提防。
汉武帝死后，汉昭帝上台，霍光政治生涯的第二个时期来临了。汉昭帝上台才8岁左右，就让霍光、金日磾、上官桀、桑弘羊一同辅佐。汉昭帝这人吧，人小心机深，看人也准。知道以权在手，一个人会使权力失去控制，多安置几个人分权，各自的势力的削弱了。
本来几个人合作得挺好的，而且霍光和上官桀、桑弘羊还是亲家，可是上官桀倚仗自己的职位，把自家人使劲往上提拔，也不管此人可用不可用，只要能够壮大自己家的势力，霍光看不过，就没答应他上官家提拔的事，也多次驳斥过上官桀。
从此，上官桀和霍光成了生死对头，上官桀趁霍光度假不在的日子，偷偷在皇帝面前参了他一本，这让知晓此事的霍光气十分不悦，既然你这么无义也休怪老子无情，我就要替皇上清理下门户。在两者之间，十四岁的汉昭帝的天平偏向了霍光，霍光为人有原则，还可以控制，上官桀们的野心太明显了。后来上官桀联系燕王造反，消息泄露，被霍光族灭全家。
汉昭帝执政期间，霍光大权在握，大赦天下，休养生息，与匈奴关系得到改善，西汉帝国国力得到很大程度上的恢复。
汉昭帝死后，汉武帝孙昌邑王刘贺即位。这个王子不仅行为轻佻沉溺声色，还是个酒鬼，举天下而为自己一乐。霍光感到忧愁，为汉家天下忧愁，也为自己忧愁。打算为汉室将来，也下一次狠手，把刘贺除掉。于是刘贺一入京，霍光立刻封锁皇宫，将刘贺家臣全部捉了起来，并即刻处死，为除一个王子，白白牺牲上千人的性命，这也是无奈之举，以此避免更多的杀戮。
过后，霍光拥汉宣帝刘病已为帝。
他的女儿也嫁给了刘病已成为了皇后。地节二年春三月庚午，霍光病重逝世，在他死后不久，霍家因为谋反之罪被满门抄斩。
