清代文献中都有记载，纪晓岚是个大胖子，喜欢用大烟袋锅子。他大约从三十岁以后开始发胖，身材偏矮，远远地望去犹如水桶一般。而纪晓岚的对头和珅，则是乾隆年间着名的美男子，精通满、汉、藏等多种语言，尤其擅诗文。乾隆用人不仅要能干的，还喜欢长得英俊的。
相貌丑陋却偏偏又碰上乾隆，所以即使他再才华横溢，也难得到真正的重视，只能以文字安身立命。纪晓岚只能做乾隆的词臣，而难以做乾隆的宠臣、重臣。他一生中两次任乡试考官，六次任会试考官，三次任礼部尚书，均是这种际遇的体现。这种官职并无重权、实权，只是大清朝廷的摆设而已。
即便是乾隆派他出任督察院，因判案不力，本应受罚，乾隆却说：“这次派任的纪晓岚，本系无用腐儒，本来只不过是凑个数而已，况且他并不熟悉刑名等事务，又是近视眼，他所犯的过错情有可原。”可见，皇帝并不对他寄予厚望。
有一次，内阁学士尹壮图指陈弊政，称各省督抚“声名狼藉，吏治废弛。我经过各省地方，问起官吏的好坏，人们都皱眉叹息，各省风气大抵皆然”。由于这些话惹恼年岁已高、再也听不进忠言的乾隆，结果军机大臣要将尹壮图拟斩。
尹壮图之父尹松林与纪晓岚是同年进士，当纪晓岚打算为尹壮图求情时，乾隆勃然大怒，当即骂道：“朕以你文学优长，故使领四库书，实不过以倡优蓄之，尔何妄谈国事！”原来，皇帝让纪晓岚总纂《四库全书》，并不是真正把他当成独当一面的重臣。
民间传说中，纪晓岚与和？的关系经常形同水火，势不两立，更有许多逸事传说，讲述纪晓岚如何捉弄和珅。有一次和？在宰相府内修建凉亭一座，需要一幅亭额，便求纪晓岚题字，结果纪晓岚爽快答应，题以大字“竹苞”。
这二字出自《诗经・小雅・斯干》，人们常以“竹苞松茂”颂扬华屋落成，家族兴旺。和珅得到纪晓岚的题字，大为高兴，就高高挂在书亭上。乾隆偶尔临幸和？宅第，一见纪晓岚题字，马上就知道了纪晓岚是在捉弄和珅。
他笑着对和珅说：“纪晓岚是在骂你们一家‘个个草包’呢。”结果和珅对纪晓岚恨之入骨，几次进谗言，参奏纪晓岚。
其实，在历史上，纪晓岚与和珅维持了良好的关系。和珅是乾隆的宠臣，纪晓岚是一个聪明的知识分子，当然不会去得罪和珅。乾隆晚年，纪晓岚好友、御史曹锡宝欲弹劾和？，纪晓岚虽为朋友担心，但也仅以宋人《咏蟹》诗相赠：水清讵免双鳌黑，秋老难逃一背红。
意思是说，现在弹劾和珅，恐怕时机不够成熟。但曹锡宝没有听从纪晓岚的告诫，毅然上书，指参和珅。结果乾隆大怒，要将曹锡宝治罪，此时的纪晓岚在乾隆面前竭力表白，声称自己毫不知情。
结果由于他表现得过于露骨，反而使乾隆认为纪晓岚正是幕后指使者。可见，纪晓岚怎么会把自己树立成和珅的对立面呢？
晚年的纪晓岚，常以弈道为喻，言其心志。这是一种非常世故的态度，也是纪晓岚从官场摸爬滚打多年积累出来的经验。纪晓岚久任官场，官职也不低，能够在官场之中左右逢源，肯定有他的为官之道。
这种为官之道，正是各不得罪，尽量保持中立的身份。而他长期追随乾隆，游山玩水，吟诗作对，阿谀奉承之作居多，也可见其为人。从纪晓岚这种性格特点来看，他不会与和珅发生正面的冲突。
