岳飞一共有三个妻子：
第一个女人
岳飞的第一个女人是刘氏，她也是岳云和岳雷的生母。刘氏与岳飞大约于徽宗政和八年结合，这是根据岳云的出生年月(宣和元年六月)推算出来的。可惜此女不能守节忍受艰苦，先后两次改嫁，《会编》卷二百七是这样描述的：
飞执兵权之日，遣使王忠臣往楚州韩世忠处下书，得回书欲归。临行世忠嘱之曰：“传语岳宣抚，宣抚有结发之妻，见在此中嫁做一押队之妻，可差人来取之。”(忠臣)回，(密报飞以世忠语，飞不答，世忠上闻。)飞奏言，“履冰渡河之日，留臣妻侍老母，不期妻两经改嫁，臣切骨恨之，已差人送钱五百贯，以助其不足，恐天下不知其由也。”上令报行。
《要录》也有相似的记载，卷120绍兴八年六月丁卯：飞之在京师也，其妻刘氏与飞母留居相州，及飞母渡河而刘改适，至是在淮东宣抚使韩世忠军中，世忠谕飞复取之，飞遣刘钱三百千。丁卯以其事闻，具奏：“臣不自言，恐有弃妻之谤。”诏答之。
先说这则记载的真伪吧，台湾方面的岳飞研究专家对此条记载持伪造的意见，理由是秦桧当权以后，尤其是岳飞身死之后，秦桧指使其子秦(火喜)大肆篡改原始档案，对岳飞进行攻击与污蔑。而且岳飞家谱中也根本没有记载过这个刘氏。
大陆方面则完全肯定此条记载的真实性，因为李心传在编写《要录》的时候，曾经亲自看过岳飞的上奏，事见《要录》卷8建炎元年乙亥注。既然亲见岳飞的上奏，这件事的真实性自然是不容置疑的。何况当其实人们普遍对妇女改嫁持宽容态度，秦桧犯不着在这些小节上污蔑岳飞。
接着来八卦岳飞的态度。
会编的记载比较详尽：韩世忠告诉岳飞他的结发妻子嫁给自己手下的一个押队，让王忠臣回去告诉岳飞，快点来接结发妻子回家吧。岳飞听到王忠臣的密报后，不作回答。结果被韩世忠这个大嘴捅到了皇上那里，岳飞迫不得已上奏说：“当初渡河的时候，把妻子留在家中侍奉老母，没料想这厮竟然改嫁两次，我真是切骨恨之呀。已经派人给她送了五百贯，来帮助她家用，恐怕天下不知道这件事情的原委，(以免有抛弃妻子的谤言流传)。”
韩世忠只说岳飞的前妻嫁给了一个押队做妻子，岳飞居然知道她曾经两度改嫁，这消息是从何而来？耐人寻味呀。如果是在韩世忠通知之前，则说明岳飞恐怕一直在留心自己前妻的动向，只是一直隐忍不发;如果是在韩世忠通知之后，既是切骨恨之，居然还去打听前妻改嫁几次的八卦新闻，嗯，感觉岳飞也是八卦爱好者呢。但是，不论之前之后，这样的举动恐怕是可以扣上“余情未了”这顶帽子的。
