霍去病跟他的舅舅卫青一样，当时他的母亲还是平阳公主府的女奴叫做卫少儿，他母亲与平阳县小吏霍仲孺私通，但这位小吏不敢承认自己跟公主的女奴私通，于是霍去病只能以私生子的身份降世。虽然出生后的母亲并没有提到他私生子的事实，但是却挡不住外人异样的眼光，在这种环境中长大的霍去病，为自己的出生而不齿，在霍去病的心里，他对母亲是又爱又恨，恨母亲为何要和男人私通又生下自己，恨自己的不光彩，又感谢母亲带他来到这个世界。
尽管对自己的家庭出身不怎么满意，但是舅舅的出现彻底照亮了他晦暗的人生。舅舅卫青同样也是一个私生子，与霍去病极其相似的经历，让霍去病生发出了“同是天涯沦落人”的感慨，霍去病在舅舅的身上看到了勇敢、果断和意气风发，他发誓也要像舅舅一样，成为一个铁骨铮铮的英雄。心怀大志的少年，一直怀揣着这个梦想等待一个机会，在卫子夫当上皇后后，这个机会终于来了。
卫青在入宫后，深得皇帝的赏识，因为自身表现出来的在行兵打仗上的天赋，在兵营和战场上这种天分被发挥到极致，卫青就像是一匹骏马，一上战场就很勇猛，无所畏惧一往无前。同时，也不是没头苍蝇般的乱闯乱打，而是有计谋有军事策略，每次都能直捣敌军的腹地。卫青七战匈奴没有一次失败，足见他的机制与勇猛，卫青就是为战场而生的。
以舅舅为榜样的霍去病，自然不甘心沦落为一个无名小卒，他虽然此时不如舅舅有成就，但是他也很快在舅舅的影响下成长，迫不及待参与到首战，迫不及待要在战场上大显身手，霍去病这位意气风发的少年，凭借出生牛犊不怕虎的势头，以快、准、狠的行军多次立功，让世人对这名少年，都刮目相看。
他和卫青发起的对匈奴的进攻性战争，改变了汉朝长此在对匈奴战争中的守势状态，一举打败匈奴。从而长久地保障了西汉北方长城一带，也就是在漠南地区的边境安全，此战为汉朝进击匈奴最远的一次。
少年郎，正是意气风发的时候，也正是鲜血最滚烫的时候，炙手可热的英雄怎会没有人爱？想必仰慕这位少将的女子不在少数。然而，霍去病却终生未娶。从十七岁到军营到二十四岁，这短短的六、七年时间都在军规十分严苛的军营中度过，霍去病没有更多的机会去接触女人，短短六年里六次出击匈奴实行远途奔袭，仗都打不过来，哪还有功夫娶老婆。
不过后世的记载中，的确也提到霍去病是有一个儿子的，这个儿子是他和他府上的一位侍女所生的，也是个私生子，叫做霍嬗。为什么霍去病不娶侍女为妻？因为霍去病看不起侍女的出身，根本就不会娶她，他只认了霍嬗，让他做了自己的私生子。从这点看上去，霍去病又走了和母亲同样的道路，他对母亲所做的事耿耿于怀，看不起母亲更怕别人看不起自己，所以他对母亲没多大好感，更多是怨恨。因此霍去病本人看不起女人，究其根本根本都是源自他的母亲卫少儿。
他对儿子霍嬗也是无感，生下来就放在舅舅家抚养，一直到霍去病去世，俩父子也没怎么见过面，更别提什么父子之爱的话了。
霍去病死的时候霍嬗才四岁，汉武帝看在霍去病的份上让这小孩继续做冠军侯，准备把他培养成第二个霍去病，后来汉武封泰山把霍嬗带上山顶举行了秘密的仪式，回去之后霍嬗就死了，死因不明，后世猜想是汉武帝想除掉霍家，以免除后患。
霍光的父亲名叫霍仲孺，霍仲孺和平阳侯府中侍女卫媪之女卫少儿私通生下霍去病。霍仲孺在平阳侯家任务完毕返回家中，另娶妻子生下霍光，和卫少儿不再来往。因此，霍光和霍去病是同父异母的兄弟。
霍去病被封为骠骑将军后，将在家乡的异母弟弟带到身边，后来推荐到汉武帝身边做侍从，霍去病去世后，汉武帝怀念霍去病，将霍光升任奉车都尉、光禄大夫等职位，侍奉汉武帝左右，前后出入宫禁二十多年，未曾犯一次错误。因此得到汉武帝的信任，两兄弟一个英年早逝，一个平步青云，不知是喜还是悲。
