洪武三年，明太祖朱元璋大封功臣，说：“善长虽无汗马劳，然事朕久，给军食，功甚大，宜进封大国。”(《明史·李善长传》)李善长被授开国辅运推诚守正文臣、特进光禄大夫、左柱国、太师、中书左丞相，封韩国公。在朱元璋加封的开国六大国公中，“善长位第一”，统兵征战的徐达次之。而与李善长一样为朱皇帝造反称帝出谋划策、运筹帷幄且决胜千里的刘伯温，只得了一个诚意伯、御史中丞。
李善长与刘伯温相比，确实不一样。李善长虽不是进士出身，也非元朝官员，更没有刘伯温那么多神机妙算，但他也有不少真本事。他“少读书有智计，习法家言，策事多中”。尤其他自荐追随朱元璋以来，“为参谋，预机画，主馈饷”，被朱元璋甚是亲信。
朱元璋无论是做大元帅、中书省平章，还是称吴王、做皇帝，都是以李善长为文官首臣。李善长“明习故事，裁决如流，又娴于辞命”，为朱元璋的前线军马筹集粮草、兵饷，源源不断，在后方总理日常事务、制定典章赋税，都是一把好手。故，有人认为李善长之功，既有萧何之能，也有张良之才。
李善长曾斟酌元制、去其弊端后，请求专卖两淮之盐，设立茶法，对加强百废待兴的明初财政，很有实效。他还逐步恢复制钱法，开矿冶铁，制定鱼税，国家财富日益增长，百姓也不再贫困。朱元璋登基后，开国大典，册封大典，均由李善长为大礼使。朱元璋亲征，李善长留守，“一切听便宜行事”。朱元璋“定天下岳渎神祗封号，封建诸王，爵赏功臣，事无巨细，悉委善长与诸儒臣谋议行之”。
朱元璋成了天下的主子，李善长做了真正的宰相，皇权和相权不断博弈、冲突，朱元璋本想利用刘伯温制衡李善长以及后来胡惟庸，但是未果，甚至突然暴卒，且涉及胡惟庸。李善长“外宽和，内多忮刻”，日益自专，只要有人稍微冒犯他的权威，就定罪贬黜。掌管御史台的刘伯温依法力争，李善长仍盛气凌人，逼得刘伯温“不自安，请告归”。这些，也是大权力控的朱元璋洞察入微，尚待发酵。
洪武四年，李善长“以疾致仕”。朱元璋甚是慷慨，赐大量的土地、塚户、佃户、仪仗士，擢升李善长弟弟李存义为太仆丞，还把女儿嫁给李善长的儿子，封其为驸马都尉，要公主在李家严守妇道。
李善长辞职，朱元璋先后封汪广洋和李善长举荐的胡惟庸都为右相。汪广洋鉴于朱元璋与李善长的矛盾，事事请示皇帝，上书打压前丞相：“善长狎宠自恣，陛下病不视朝几及旬，不问候。驸马都尉祺六日不朝，宣至殿前，又不引罪，大不敬。”
看来离职不离京的李善长，对皇帝也不关心了，恃功而骄，就连皇帝大病十天不上朝这样的大事件也不闻不问，就连其子做了皇家驸马，也是皇帝宣进宫问安也不认错。他们似乎认为朱元璋给与李家最隆重、最高规的恩赏，是在讨好李善长，故不断不收敛，反而更加骄纵。
朱元璋将原元帅府的令史汪广洋擢升为右相，但能力有限，不久被后起之秀胡惟庸与老奸巨猾的李善长联手弄走。汪广洋看似对李、胡敬而远之，但着实能耐不济，不是对手。李家父子如此对待朱元璋，朱元璋心里自然不舒服，削减了他一千八百石岁禄。汪广洋不争气，没出成绩，朱元璋把他贬到广东行省做参议，而要李善长重新出山，和朱元璋的外甥兼养子、曹国公李文忠总理中书省、大都督、府御史台，同议军国大政。善长虽老，做事仍有作为，帮忙打理御史台，很快见成效。
不久，京城有一批罪犯被判流放戍边，李善长几次出面请免掉一个叫丁斌的。朱元璋本来对李善长就有了不少猜忌和恼怒，于是抓来丁斌审查，丁斌重提李存义与胡惟庸勾结。朱元璋重新把李存义下狱，李存义咬出李善长和胡惟庸谋反有牵连。
