上世纪七十年代，有的人挖开了纪晓岚在其家乡河北沧州的坟墓，人们发现里面只有七具女尸骨，而没有男尸骨。据推测，这七位女性应系纪晓岚的小妾无疑，如此算来纪晓岚应该至少有八个老婆(纪晓岚与正妻埋在别处)。
纪晓岚的正妻马氏，与纪晓岚结婚的时候二十岁，而纪晓岚十七岁，据说纪晓岚在与马氏洞房花烛夜的时候，闹新房的人要求新人吟诗作赋方愿离去，马氏随口拈来“百年良缘在今宵，诸君莫要再相扰”，纪晓岚也是顺口说“织女正在停梭等，速让牛郎过鹊桥”。众人听完，一哄而散。
在纪晓岚的妻妾中，最宠爱的是郭氏和沈氏。郭氏彩符十三岁的时候就给纪晓岚做小妾，比纪晓岚小十一岁，郭氏长得很美，纪晓岚十分喜欢。但是郭氏三十岁的时候就因病去世，纪晓岚十分的伤心，用做诗来悼念，其中一首是：百折湘裙占画栏，临风还忆步珊珊，明知神谶曾先定，终惜芙蓉不耐寒。
而另一个深得纪晓岚宠爱的是沈氏明轩，她也是在十三岁的时候嫁给纪晓岚的，比纪晓岚小三十七岁。他们的年龄相差很大，沈氏到纪家以后，马氏待其如同亲生女儿，十分疼爱她，大老婆用对待亲生女儿般对待丈夫的小妾，现在看来真是不可思议。
自古以来，才子与佳人相伴，是多少人心中的理想，但是却很少有人实现，纪晓岚显然属于幸运者，而且还是多位佳人相伴，可谓不枉此生了。
