绍兴五年（公元1135年），朝廷下令更改五支屯驻大兵的军号，统一称为行营护军。张俊军称行营中护军，韩世忠军称行营前护军，岳飞军称行营后护军，刘光世军称行营左护军，吴玠军称行营右护军。岳飞作为后起之秀，分别致书信与另外四位军界大牌通好。这四位大牌反应各异。刘光世对带兵打仗不感兴趣，全身心投入到致富大业中，对岳飞的来信不置可否，由营中幕僚代写的回信客客气气，完全一副公事公办的样子。韩世忠和张俊眼看着岳飞“以列校拔起”，短短几年，就与自己平起平坐，一直愤愤不平。他们对岳飞多次的书信通好都熟视睹，隐含敌意。岳飞平定了杨么，将缴获的楼船给他们每人献了一座，上面的兵将和战守的器械全套毕备。
张俊见了，火上加油，鼻孔像火车头的烟囱，呼呼喷着粗气，破口骂道，搞什么搞！岳飞送来这个狼犺大家伙来，分明就是要在我面前显摆！而韩世忠的表现却非常有意思，他破怒为笑，摇摇头，自言自语，这个岳飞，倒也会做人！岳飞派到韩世忠处的使者叫王忠臣（好名字！），王忠臣完成了任务准备告辞，韩世忠叫住了他，神秘兮兮地说：“你回去报告岳宣抚，他的前妻刘氏现在就在我的军营中，下嫁给了一个小队长，如果岳宣抚不忘旧情，可以派人来接她回去。”王忠臣回来将韩世忠的话密报给岳飞，岳飞沉吟不答。
人生有些事，不谈是个结，谈开了是个疤，心里有座坟，葬着未亡人。可以想象得出，他对这个女人是又爱又恨。俗话说，一夜夫妻百日恩。而且，这个女人还为他生下了云、雷二子。可是这个女人终究不能长相厮守一生，因为不堪寂寞，红杏出墙，离家与人私奔，是可忍，孰不可忍？都说英雄无情，其实不是英雄无情，而是烈女难得。多少的柔情似水，几多的耳鬓厮磨，经不起现实的一点点挫折，一点点磨难，或者一点点诱惑。哭倒长城、三千里寻夫的孟姜女只是一个神话；苦守寒窑、十八载盼夫的王宝钏不过一个传说。
既然移情别嫁，那么所有的恩情就已灰飞烟灭！续弦夫人李娃，虽说目不识丁，相貌平平，也是二婚，比自己年长两岁，但是勤俭持家，孝顺老人，怜恤婴幼。第二天一早，岳飞叫来王忠臣，命他再回楚州（今江苏淮安市），找到了那个小队长，送上了五百贯，以资其家用。（岳飞的五百贯相当于现在的二十四万人民币）也不知韩世忠想搞什么鬼，看到岳飞无动于衷，竟把这事儿上报给了赵构。赵构大为好奇，专门下书询问岳飞不接刘氏的原因。岳飞坦然奏道：“当初踏冰渡黄河之时，我留下妻子在家侍奉老母亲，没承想，她竟然一嫁再嫁，前后两次改嫁他人，我恨之入骨，已派人送了五百贯钱给她补家用，现在圣上提起，岳飞直言相告，只担心天下人不知其中原由，骂我为负心汉子也。”
要说，换一般人，肯定咽不下这口气。而以岳飞现在的身份和地位，他要想采取点什么行动一泄当年戴绿帽子之愤，可谓轻而易举，可是他并没这么做，而是馈赠巨资，情义之重，天地可鉴。军界中第四位大牌吴玠的表现与其他三人截然不同，他对待岳飞，是英雄惜英雄，好汉爱好汉。和岳飞书信互往，使者相通。吴玠的使者发现岳飞衣着朴素，用度简单。吃饭对饭菜也没有什么讲究，席间更谈不上什么姬妾、歌童、舞女之类作陪，不由大为惊奇。
要知道，当时的将帅，无论是刘光世、张俊、吴玠还是韩世忠，每人都是声色犬马，妻妾成群。就连那个以道德楷模所标榜的李纲，也是过着极其侈靡的生活。史载：“李纲私藏，过于国帑，侍妾歌童，衣服饮食，极于美丽。每宴客设馔必至百品，遇出则厨传数十担。其居福州也，张浚被召，赆行一百二十盒，盒以朱漆银镂，妆饰样致如一，皆其宅库所有也。”
张俊甚至还曾为了一个姓周的名妓争风吃醋，拎刀子捅了赵氏宗室赵叔近，又将这个妓女转手送给了韩世忠。那时，一夫多妾妻是常态，娶个小妾并不会涉及包二奶问题，这时韩世忠家里已经“国夫人”、“郡夫人”、“淑人”、“硕人”一大群，但他还意犹未足，垂涎于部将呼延通妻子的美色，强行奸污，逼得血性男儿呼延通自杀身亡。而吴阶家里更是蓄有美姬千百，军务稍有闲暇，就纵情享受。（三年后，吴玠就因为酒色过度，咯血而死。）
吴玠听回来的使者述说了岳飞的清苦生活，不惜豪掷巨资，购来一个出身官宦的大家闺秀，配以八大箱笼的金玉珠宝作为妆奁，敲锣打鼓，从川陕出发，不远千里送往鄂州（今湖北武昌），给岳飞作妾。因为动作搞得太大，岳飞纳妾的消息被传的沸沸扬扬。幕僚黄纵“被檄差出”，出发前，军中还没有人知道吴玠要作媒的事，行走在路上，耳中已经尽是岳飞“纳士族之女以为妾”的新闻了。生得国色天香的名姝送到了鄂州（今湖北武昌）。岳飞正患目疾，用沾了水的纱巾敷在眼上，命人将女子安置在一间大屋，隔着屏风与之交谈。
岳飞说：“我的一家老少都是穿麻布衣服，吃粗粮杂面，你若能和我们一起同甘共苦就留下来，不能我绝不敢留。”话音未落，屏风后响起了一阵吃吃的笑声，似乎对岳飞的说话大不以为然。岳飞于是站起，说道：“看来，我留你不得了。”一边的部将劝道：“你正准备连结关陕，为什么不借这个机会和吴玠交好？”
岳飞说：“吴玠太厚爱岳飞了，但国耻未雪，国仇未报，圣上睡不安枕，做大将的又怎么偷闲取乐呢？”女子被无情地退了回来，大家都以为吴玠会因此怨恨岳飞不近人情，岂料吴玠不但不以为忤，反而更加敬佩岳飞。
其实，岳飞官居两镇节度使，每月的俸禄比宰相还高，每月有“料钱”四百贯、“禄粟”一百五十石、“公用钱”一千贯，另有盐七石、罗、绫、绢、绵二十匹。此外，岳飞升节度使外，还封爵至武昌郡开国公，随封食邑六干一百户，食实封二干六百户。有这样丰厚的收入，岳飞真要过和韩世忠、刘光世、张俊、吴玠等人那种穷奢极侈的腐败生活，又有何难？可是，岳飞从一介农夫走上了独掌一方兵权的军区司令员，仍以自己的信念、理想和抱负来严格要求自己，自始至终保持着简朴的生活作风。
正可谓：唯大英雄能本色，是真名士自风流！在衣食行住各方面，岳飞表现得极其朴素。衣：平日只穿麻布，不着绸缎。有一次，妻子用家里的缯帛做了一件衣裳，还未来得及穿，岳飞大发感慨地说：“我听说被掠到北地的后宫妃嫔食不果腹，衣不遮体，你应该和我一同为天下忧乐，不应该穿这种名贵服装。”此言一出，全家人再不敢穿戴丝绸。
食：岳飞是北方人，大米难得，以面食为主，迁到南方，南方盛产水稻，可是岳飞还是不舍得吃米饭（白米比麦贵），家里的日常食物依然是麦面加齑菜，很少沾腥荤。有时候宴请部属，才偶加猪肉。有一次和部将会餐，桌上端上了鸡肉，岳飞大为诧异，找来厨师悄声询问：“这鸡肉是从哪里来的？”厨师据实回答：“鸡肉是鄂州知州衙门送来的。”岳飞感慨道：“为什么要多杀生命？”立即勒令：“以后绝对不能这样了”。还有一次，他到部将郝晸家作客，郝晸深知岳飞为人，只安排了一种名叫“酸馅”面食作为招待。岳飞初尝此物，觉得其虽鄙而味美，便认真地请教它的用料和做法，并把吃剩的打包带家里去。他这种节俭行为，让众人惊惭不已。
行：岳飞对自己的言行举止要求极其严格，他常常说：“某被主上拔擢至此，倘有纤毫非是，被儒生写在史书上，万世揩改不得。”严于律己之外，他对儿子们的管教也极其严苛。他激励儿子们要从戎报国，刻苦读书，每当闲暇，还亲自带领着他们到田圃里扶犁握锄，操持农务。岳飞是这样教导儿子们的：“种植艰难，你们不能没有体会。”
住：为了笼络人心，赵构曾经向岳飞承诺，要在临安府为他打造一座豪宅。岳飞当即就借用了汉朝霍去病的话进行坚拒：“北虏未灭，臣何以家为！”岳飞的回答让赵构大为激赏。因为他清楚地知道，其他四大将中最“清廉”的韩世忠不但拥有了江南西路临江军新淦县大片田宅，还收购了北宋名奸朱勔的平江府（今苏州）南园和一千二百亩水田以及著名的永丰圩。而岳飞只在江州（今江西九江市）城盖造和购买了一些房廊、草屋和瓦屋，这些房地主要的用途还是用来救济其故里汤阴县前来投亲的难民。
