他并非出身显赫，但举出随便一位亲属的名号便掷地有声：女儿霍成君是汉宣帝皇后，外孙女上官氏身为汉昭帝皇后，同父异母的哥哥霍去病乃一代名将，横扫匈奴战无不胜;而霍光本人身材高大，皮肤白皙，眉目疏朗，可算是当时的美男子，自被哥哥霍去病引荐给汉武帝之后，从郎官、侍中一步步成为汉武帝身边的近臣，作风老城持重，出入宫禁二十多年未曾犯过错误，深得汉武帝信任。
霍光位极人臣的起因，源于那场惨烈的巫蛊之祸。卫皇后(卫子夫，大将卫青的姐姐)被牵连自缢身亡，太子奋起发动事变失败后被逼死，汉武帝决定立钩弋夫人之子刘弗陵为储君，将《周公辅成王朝诸侯图》赐给霍光，暗示他准备辅政。
公元前87年，汉武帝临终之时册封霍光为大司马将军，与其他四位大臣(车骑将军金日磾、左将军上官桀、都尉桑弘羊)共同辅佐年仅八岁的汉昭帝。至此，霍光成为西汉政治舞台上最重要的角色，表面上是辅政大臣，实际手握实权。
由于金日磾和上官桀与霍光都有姻亲关系，在将亲属安排进朝廷的谋划中，他们和霍光结下了政见不合的梁子，于是和盖长公主、燕王刘旦(汉武帝第三子)等人结成反对霍光的联盟，趁他休假时向汉昭帝上述诬陷霍光有不臣之心，并暗中做好擒杀霍光的准备。
而年仅十四岁的汉昭帝此时的反应很耐人寻味。父皇临终托孤，霍光是辅政重臣，自己羽翼未丰，登位全赖霍光的扶持，自然不能失去这个对汉朝举足轻重的功臣。对于这种诬告，他不予理睬，一方面安抚霍光，另一方面下令追查上书人的来历，表明如有人上书毁谤霍光者必追究到底。
一个黄毛小儿虽贵为皇帝，在那个阶段还不具有掌控朝政和收拢人心的能力，一众大臣背地里肯定不会真心服从。四位辅政大臣个个位高权重，与皇室的利益牵涉千丝万缕，如果汉昭帝不步步为营，早就在政治斗争中粉身碎骨了。历史上总说汉昭帝是傀儡，霍光独揽权利不放，看来这位年少早逝的皇帝，并不是所想的那么懦弱无能。
