当冯玉祥部在豫北鏖战，吸引奉军大部分主力之时，第一集团军及第二集团军孙良诚方面军也开始了津浦路方面的作战。这一方面主要是张宗昌和孙传芳部队，部署于鲁南及济宁方向。4月10日，第一集团军沿津浦路分成左右两翼攻击前进。在右翼，第一军团刘峙部首先攻占枣庄、台儿庄、韩庄、沙沟、临城等地。直鲁军用了三个月之久，在台儿庄至韩庄80余里地区构筑的半永久工事，数日之内就被突破。北伐军歼敌千余，俘敌1。8万余人，缴获大炮20余门。在韩庄督战的张宗昌于4月16日退守藤县、界河一带，继续构筑工事，妄图坚守。4月17日，第一军团跟踪追击，与张敬尧、许琨部约两万人在藤县、界河一带展开激战。18日，直鲁军大败，北伐军攻占藤县。随后继续向邹县、兖州挺进。在界河附近东自龙山西自大马山一带，张宗昌曾经以50万元巨资聘请德国人为其建造的据点式半永久防御工事，在北伐军的追击之下，未及据守就轻易放弃了。直鲁军仓皇之中纷纷向泰安、新泰方向溃退。19日，北伐军占领兖州。这一阶段，俘敌师长一名，中将支队长三名，少将支队长两名，团长七名，下级军官及士兵三万有余；缴获步枪二万三千余枝，机枪百余挺，大炮七十余门，子弹粮秣无数。与此同时，右翼第二军团陈调元部攻克郯城，进逼临沂。
在左翼，贺耀祖第三军团与方振武第四军团协同作战，连克丰县、沛县、鱼台、谷亭、金乡，进迫济宁。贺、方两部由于进展过快，侧翼暴露。集结于苏鲁边境的孙传芳部抓住机会，立即于4月12日向鱼台方向的第三军团展开反击。第二十七军夏斗寅部、三十三军张克瑶部是新收编的杂色武装，战斗力很差，在孙传芳的猛烈突击之下慌乱不堪，纷纷溃退。贺耀祖的四十军立即陷入孙军包围，不得不乘夜突围。4月14日，孙传芳军占领丰县，并以一部骑兵突袭沛县，主力进逼第一集团军的后方基地徐州。
驻于徐州行营的蒋介石急忙连电冯玉祥，请求援助。冯玉祥接电立即命令驻扎于兰封的预备队石友三部第六军悉数东开砀山，出敌不意，发起猛攻。孙军被迫后撤，徐州暂告安全。此时，第二集团军孙良诚方面军也得悉孙军主力南下，乃以围魏救赵的策略，疾向孙军老巢济宁攻击前进。4月15日，攻占巨野，歼灭孙军李宝璋部近两万余人。16日，包围济宁。孙传芳得知济宁告急，生怕后路被截断，急忙率主力五个师北撤。4月17日，石友三占领丰县。
孙传芳于4月17日率军返回济宁城下，与孙良诚部展开激战。与此同时，贺耀祖、方振武两部也北上参加进攻，将孙传芳部包围于济宁附近。4月20日，孙传芳向北突围，遭到北伐军各部的围攻截击，损失惨重。21日，孙良诚占领济宁，孙传芳率残部向泰安、济南溃退。鲁西南的会战，又是以冯玉祥第二集团军东进部队为主体，基本消灭了孙传芳主力，此后第一集团军正面再无有力部队。蒋介石的嫡系部队几乎是以行军姿态步步向济南推进。
临沂方面的第二军团陈调元部本身战斗力不强，进攻也不积极。在临沂城下与张宗昌部形成对峙。鲁西南会战结束，直鲁军不战而纷纷北逃，陈调元才慢条斯理的以一部穿越沂蒙山，占领蒙阴，25日，进占莱芜。
4月23日，蒋介石抵达兖州。决定乘孙传芳主力被歼，张宗昌各部奔溃的有利时机，迅速北上，占领济南。24日，第一军团刘峙部沿津浦路向北攻击前进，当面敌军稍加抵抗，即纷纷北逃。27日，蒋介石来到陇海路兰封野鸡岗，与冯玉祥进行会商进攻济南的战略部署。
4月28日，第一军团占领泰安。30日，第四军团方振武由济宁北进占领长清，逼近济南。同时，由莱芜北进的陈调元部也切断了济南以东的胶济路。孙传芳、张宗昌间局势已不可挽回，决定放弃济南，北撤德州。5月1日，孙、张两军开始北撤，并炸断了津浦路上的黄河铁桥。同一天，第一集团军第一、第四军团各以一部进占济南。
5月2日上午，蒋介石抵达济南，任命方振武为济南卫戍司令。