《论语》中记载，柳下惠在做一个小官时，因为性格耿直，不愿意巴结其他官员，所以很容易得罪高官权贵。柳下惠因此遭到其他官员的排挤，连续三次被罢官。柳下惠虽然连受打击郁郁不得志，但因为他的才能闻名天下，各国都想请他任职，可是柳下惠却一个邀请都没同意。因为柳下惠觉得，他因为坚持了做人的原则，才一而再、再而三的被罢免，这样就算他到了其他国任职还是会碰到这样的事，还不如一直留在自己的家乡。
柳下惠坐怀不乱的故事：柳下惠坐怀不乱的故事最早出现在《荀子》中，这个故事一直流传下来，至今一共存在两个版本。
第一种说法是，在一个寒冷的冬夜，柳下惠在城门旁边睡觉，遇到了一个前来投宿的女子。柳下惠怕这个女子冻死，就抱着这个女子取暖，又解开外衣裹紧女子，两个人就这么坐着过了一夜。因为柳下惠并没有对女子有什么非礼的行为，所以人们夸他坐怀不乱。
第二种说法，柳下惠外出拜访朋友时遇上大雨，只好跑到古庙中避雨。但是柳下惠一走进古庙就发现了一个未着寸缕的姑娘，他连忙走出寺庙，站在外面的槐树下躲雨。这件事流传出来后，才有了坐怀(槐)不乱的典故。
柳下惠在鲁国是个正道直行的人，他是所有美好情操、品行的一个代表，因为他德行很高，才会被人们推为“和圣”，将美谈都加到名人身上，而更有说服力和教化效果。如此想来，柳下惠坐怀不乱就有了一个具体的依托，也就导致了这个故事流传千古。
