1360年(至正二十年)，被朱元璋请至应天(今南京)，任谋臣，展现一个非常成功的兵法家的才能。刘基针对当时形势，向朱元璋提出避免两线作战、各个击破建策，被采纳。辅佐朱元璋集中兵力先后灭陈友谅、张士诚.等势力。刘伯温并建议朱一方面脱离“小明王”韩林儿自立势力，却另一方面以“大明”为国号来招揽天下义师的民心。1367年(至正二十七年)，参与制定朱元璋的灭元方略，并得以实现。共参与军机八年，筹划全局。1370年(明洪武三年)，为嘉勉刘基的功荣，授命刘基为弘文馆学士。十一月朱元璋大封功臣，本想封刘基为丞相，但刘基一再推脱，只好作罢。这并不是刘基的客气，而是他明白自己的正直会遭到其他为官者的排挤。因此申请还乡。朱元璋授命他为开国翊运守正文臣、资善大夫、上护军，并封为诚意伯。刘基的功劳对于明朝来说可以说是最大的，但每年俸禄只有二百四十石。
即帝位后的朱元璋，心态开始发生变化，“非我族类，其心必异”这是所有帝王的一贯思维，只不过在朱元璋那儿更变本加厉，更刻薄寡情。本来第一个要收拾的是独揽大权的丞相李善长，因为李嫉恨刘伯温，朱元璋就选择刘伯温充当杀手。“太祖以事责丞相李善长，基言：‘善长勋旧，能调和诸将。’
太祖曰：“是数欲害君，君乃为之地耶？吾行相君矣。”基顿首曰：“是如易柱，须得大木。若束小木为之，且立覆。”(《明史列传16》)尽管刘伯温说得都是大道理，不过他心里应该明白，让他出来收拾李善长，既是利用，也是试探他的忠诚度。
他一旦受命或可减轻朱元璋的猜疑，然而，唇亡则齿寒，此例一开，以后朱元璋对待开国功臣元老就会换另外一副面孔，此等不义之举，按刘伯温的个性是绝不可为的。正因为如此，第二年他就请退，告老还乡了。
