1927年12月3日至10日国民党中央执行委员会在上海召开国民党二届四中全会预备会，会议的最后一天恢复了蒋中正复职为北伐全军总司令。1928年1月4日，蒋中正到任，继续领导北伐。
北伐军在占领河南之后，屡次致电冯玉祥、阎钖山及各将领准备北伐。2月28日，中国国民党中央政治会议决议冯玉祥为第二集团军总司令，阎锡山为第三集团军总司令，并命统归蒋指挥。
1928年4月7日，蒋介石在徐州誓师北伐。9日，各路北伐军发起全线总攻。第一集团军第一军团总指挥兼第一军军长刘峙，指挥王均的第三军、缪培南的第四军、顾祝同的第九军、杨胜治的第十军和贺耀组的第四十军由徐州北进，担任津浦路正面进攻。曹万顺的第十七军、陈焯的第二十六军、夏斗寅的第二十七军、金汉鼎的第三十一军和陈调元的第三十七军进攻临沂、沂水，直趋胶济线为右翼。第四军团总指挥方振武，率阮玄武的第三十四军、鲍刚的第四十一军、高桂滋的第四十七军和余念慈的独立骑兵师，沿鱼台、金乡进攻济宁为左翼。20日，方部攻占济宁。奉鲁军张宗昌残部退向泰安一带。21日，方部由济宁继续北进。28日晚，方部夺取万德、张夏之线，与津浦路正面的第一军团刘峙部会师。30日，各路军队对济南发起总攻。当天夜晚，张宗昌率残部弃城北逃。[16]孙传芳在北京宣布下野，张、孙残部向国民革命军投降。
北伐军行至山东时，日本一度出兵山东，暗助军阀张宗昌，杀害交涉员蔡公时，史称“五三惨案”。此时蒋中正与冯玉祥在济南以南的党家庄车站会晤，决定绕过济南，继续北伐，同时命令济南驻军一律撤出。避免再发生冲突。另一方面则从外交交涉，分别向日军司令，日本外交部严重抗议，并要求日军同时撤出济南，同时请求英美协助调停。[17]
1928年6月4日，张作霖当夜撤离北京，退出山海关外，张的专列在到达沈阳附近的皇姑屯（京奉铁路和南满铁路交叉的三洞旱桥），被日本关东军埋下的炸药炸毁，张作霖身负重伤，稍后死亡。[1]6月8日，国民革命军开入北京。
1928年12月29日张学良在东北通电东北易帜，宣布效忠南京中央政府，北伐至此宣布成功。