民间流传不少历史人物的传奇故事，许多是后世虚构的。但就岳飞而论，在《说岳全传》和一些戏文中，虽然虚构事迹颇多，但对他的高风亮节其实反映得并不充分。
岳飞有一句流传近千年的名言：“文臣不爱钱，武臣不惜死，天下太平矣。”在宋代社会，官场中充溢着崇文抑武的习气，武将被指为粗人。武将能讲出如此一针见血、言简意赅的名言，已属极为不易，更何况是身体力行。他担任高官之后，收入自然颇高，却一直维持着相当简朴的生活。后妻李娃有一次穿丝织品，岳飞就一定要她更换为低档的麻衣。他的私财收入是十分丰厚的，却经常化私为公，以私财补贴军用。有一次，以宅库中的物品变卖，造成弓二千张。他遇害后抄家，家中根本没有金玉珠宝，贵重物只有三千余匹麻布和丝绢，五千余斛米麦，显然还是准备贴补军用的。
宋代的统治阶层纳妾是很平常的事。如抗金名将吴玠服用金石，酒色过度，咯血而死。韩世忠不仅纳妾多人，还喜欢侮辱部将妻女，竟迫使猛将呼延通自杀。岳飞的前妻刘氏是在战乱情况下，自动离家改嫁的。他与后妻李娃厮守一生。有一次，吴玠属官出差到岳飞军营，对于岳家军中别无姬妾、歌童、舞女等劝酒作陪，颇感惊讶。回去报告吴玠后，吴玠特别为岳飞送来一个四川名姝，并置办许多金玉珠宝做妆奁，然却被岳飞打发回去。
岳飞根本不是恋栈的官迷，他几次上奏，都表白了准备功成身退的心迹。“三十功名尘与土”的名句，正是表达他贱视官爵的心态。南宋的百姓对此有广泛崇高的评价，说他“手握天戈能决胜，心轻人爵只寻幽”。
岳飞有五个儿子，他死时仅三十九岁，却已是抱儿弄孙的祖父了，长孙岳甫比幼子岳霭大一岁。因年龄关系，真正能随他出入战阵的就只有长子岳云，他对岳云的要求可说是超乎寻常严格，这应是与力图矫正宋军中的各种裙带风式的腐败有关。当岳云还是一名小军士时，在训练时不慎跌下马来，就被岳飞严责一百军棍。岳云年龄稍大，就成为一名十分骁勇的战将。他的兵器不是像演义或戏曲中所说的，是一对铁锤而是一对铁锥枪，军中称他为“赢官人”，意为这个“官人”(官员的尊称)总能打赢。但岳飞在一般情况下，只报将士们的战功，却对岳云的战功扣押不报，并且多次拒绝上级或皇帝为岳云加官。岳飞平时不准儿子们近酒，在学习的间隙，还让他们参加农事，理由是“稼穑艰难，不可不知也”。
岳飞强调“正己然后可以正物，自治然后可以治人。”他能很自然地说到做到，是令人佩服的。
