朱元璋建立明朝后，授李善长为开国辅运推诚守正文臣，特进光禄大夫、左柱国、太师、中书左丞相，封韩国公，岁禄四千石，子孙世袭。李善长外表宽和，但处理朝政极为较真。一次，参议李饮冰、杨希圣稍有点越权办事，侵犯了丞相的权限。李善长认为这是绝对不允许的事，便向明太祖奏报，要贬黜李饮冰、杨希圣。御史中丞刘基为此与他争论法律问题，他争辩不过，竟出口大骂刘基。刘基见李善长摆出丞相的架子，惹不起他，便向朱元璋辞职。朱元璋虽然没有怪罪李善长，但对他如此骄傲的态度，心里颇为厌恶。李善长是聪明人，便急流勇退，于洪武四年正月以生病为由，辞去左丞相的职务。朱元璋亦顺水推舟，未加挽留，同意李善长辞职，还赐了临濠地方若干顷土地给他。
