1946年，正当薛岳的注意力集中于华东战场时，在他的侧翼，也就是徐州的西北面，刘伯承和邓小平率领的解放军晋冀鲁豫野战军主力正厉兵秣马，准备执行中央的南线战略，出击陇海线。1946年6月27日，以晋冀鲁豫军区野战军的第三、第六、第七纵队和冀鲁豫军区主力一部，组成晋冀鲁豫野战军，辖三个纵队九个旅。7月14日组成野战军指挥部，由刘伯承、邓小平、张际春、李达等指挥从邯郸开赴冀鲁豫前线指挥作战。军区的工作由滕代远、薄一波等负责。
此时，陇海线的防务，分由郑州和徐州绥靖公署负责。而郑州绥靖公署的大部分兵力还在湖北和河南地区参加围剿解放军中原军区的部队，徐州绥靖公署的主力也还在与华东解放军鏖战之中。象整十一师、五军二00师、整七十五师这样的主力部队都还没有到达前线。在从开封到徐州长达千里的陇海运输线上，担负守备任务的国民军只有战斗力不强的整六十八师、整五十五师及一些地方部队，力量相当薄弱。
8月10日夜，解放军晋冀鲁豫野战军集中三个纵队和冀鲁豫军区之有力一部分两路秘密通过陇海线北侧的30公里防御纵深，向陇海线兰封到黄口之间的国民军据点发起突袭。陇海线沿线守军麻痹大意，对解放军的行动一无所知，因此，解放军进攻时，守军大部猝不及防，损失严重，尤其是郑州绥靖公署所属的陇海线河南段。到12日止，兰封县城及李庄、柳河、野鸡岗、罗王等车站相继为解放军所攻占。
最令国民军难以容忍的是，正在坐火车赶赴徐州途中的国民军整11师所属18旅的直属工兵、卫生队等在毫无防备的情况下，于10日夜兰封附近被解放军截住歼灭，大量装备成为解放军的战利品。
8月10日夜，由解放军晋冀鲁豫野战军七纵、冀鲁豫军区独立旅和第三军分区部队在华中第八军分区的配合下，向黄口、砀山攻击。守备砀山、黄口间铁道的苏保一纵队司令孙良诚得知本部受到解放军优势兵力的攻击，立即向徐州报警。薛岳获悉徐州西面受到解放军攻击后，大吃一惊，解放军的行动大大出乎他的预料，完全打乱了他原先的计划。早在7月下旬，他在召见先于部队抵达徐州领受任务的整十一师师长胡琏的时候，就向胡琏合盘托出了自己对徐州西北地区攻势作战的设想：首先集中主力兵团猛力北攻，肃清津浦线上的解放军，解除临城、兖州等孤立据点的包围，使津浦路全线通车，肢解冀鲁豫解放区。预定整十一师即使用于该方面。另以一部担任交通的维护，并肃清徐州外围的解放军武装，确保徐州的安全。战略上采取主宰战场先发制人的方针。而后，薛岳为增强胡琏的信心，又重点分析了解放军的防御态势：晋冀鲁豫军区主力在黄河北岸的邯郸、大名之间，其一部7纵在黄河南岸鲁西南地区；山东地区的解放军，其主力正在苏北与国民军酣战，一部在津浦线上围困国民军各据点。这样，薛岳就给胡琏作出了一个非常乐观的预测：“在这种情况下，乘虚蹈隙，突然发动进攻，必操胜算。”可是，这话说了还不到20天，晋冀鲁豫解放军就先于国民军行动了。根据情报，他们的战争准备都还没到位啊！部队的整编、物资的储备、后方的动员，这些都需要足够的时间啊！
薛岳满心狐疑。不过，他毕竟是久经战阵的老将，懂得浪费时间意味着什么。于是，他叫来作战参谋，下达了作战命令：苏保一纵队应确保黄口、砀山间铁道沿线各要点；整八十八师新二十一旅迅速向西增援；整十一师一一八旅旅长高魁元指挥所部及十八旅五十二团于8月12日拂晓车运黄口，自东向西，循铁道向砀山外围进剿；整十一师十八旅旅长覃道善率其被阻于兰封附近的五十三团及整五十五师之一个团，由归德自西向东循铁道向确山外围进剿。同时，又命令邱清泉第五军尽快完成在宿县的集结，及早投入陇海作战。命令下达后，整十一师和第五军加速向指定地域集结，新二十一旅亦遵命向黄口疾进。可还没等国民军部署就绪，砀山方面战局出现了重大变化。自8月10日夜开始，解放军左纵队连续向砀山发起猛烈冲锋。11日，解放军乘势向砀山城发起进攻。守军困兽犹斗，组织严密的火力封锁解放军前进的道路。加之，天雨路滑。解放军冲了几次，都没能攻进城内，于当晚暂停了攻击。12日拂晓，解放军在得到增援后，集中了五个团的兵力，向砀山发起总攻。他们先集中猛烈的炮火，轰垮了南门，而后部队从四面向城内冲击。战斗仅持续了几个小时。守军就顶不住了。苏保一纵队司令孙良诚见大势已去，万般无奈之下，率一部向南突出重围。没来得及突围的国民军悉数被歼。是日晨，新21旅正准备向砀山突击，可由于与砀山守军的联络中断，情况不明，而自身又兵力单薄，只得顿兵黄口不前。
薛岳得知砀山失守的消息后，并不惊慌。此时，整11师（欠53团）已抵达黄口、杨楼，次日即可向砀山前进。徐州西面的安全已没有什么可担忧的了。于是，他命令新21旅将黄口防务交给整11师，而后向北进攻，利用解放军后方空虚之机，向沛县进攻，并掩护整11师侧翼。13日，整11师留下11旅守备黄口作为预备队，以118旅及18旅52团为箭头向砀山开进。这一带的地势平坦开阔，村落星罗棋布，而其时青纱帐正盛，视野不宽。解放军针对这一地势和季节特点，采用机动袭击的战术对付整11师。他们将部队分成多个小支队进行突然袭击。起初，国民军对解放军这一战术没有准备，在经过村庄和青纱帐时，常受袭击，仓卒应战，伤亡很大。面对最初的失利，整11师并不慌乱，很快改变了进攻策略。师长胡琏命令各部队，行军时以轻装部队搜索前进，重兵器和辎重部队在行军队列最后跟进，宿营时构筑近战工事，发挥冲锋枪、60炮和火焰喷射器的效能，与解放军短兵相接。这一招果然奏效。此后，整11师的前进就变得顺利了，沿途击退解放军的袭击，先后攻占东镇店、赵围寨、西镇店、王集、汪阁、李庄，直逼砀山。
就在整11师主力向砀山推进之时，河南方面战局发生了很大变化。8月10日夜，郑州绥靖公署主任刘峙接到陇海沿线受到攻击的报告后，立即命令各守备部队就地抵抗，并从其他方面调兵增援。而正在向徐州运输途中的18旅于兰封、开封附近遭袭后，旅长覃道善迅即作出反应，指挥53团就近抢占开封东面的杜良砦，并在那里构筑阵地，组织防御。11日，解放军晋冀鲁豫3纵8旅（附6纵17旅50团）攻占罗王车站、三义寨等地后，向杜良砦发起猛烈进攻。53团沉着应战，连续打退解放军的多次冲锋。战到13日，整68师以4个团的兵力东援，于东向砦、东许砦突破8旅阻击阵地。围攻杜良砦的解放军被迫后撤，53团之围遂解。尔后，53团又配合整68师主力突破8旅的防御，并于16日晨在前后芦村、鄢陵一带再次击破解放军8旅，使之付出很大伤亡。与此同时，解放军先后围攻民权、睢县等城不克，并于柳河集、瓦岗等地作战不利，形势渐趋不妙。16日，根据薛岳的命令，5军开始由宿县向西出击。而郑州绥靖公署的援军也大规模向开封、新乡集结。这些情况让刘伯承情事意识到情况万分紧急：战局继续拖下去，自己将陷于国民军郑州和徐州两大重兵集团的东西夹击之中，到那时，解放军的整个出击部队将进退不得，完全处于被动地位。于是，他不得不考虑加快战役的进程。是日，刘伯承命令正在砀山附近与国民军整11师主力作战的7纵主力驰赴柳河集，支援3纵，围歼给3纵造成严重伤亡的国民军181旅（欠1个营）。次日，7纵遵命由砀山向柳河集开进。20日，7纵和3纵协同向柳河集进攻，占到次日夜181旅终于抵挡不住占绝对优势的解放军的反复攻击，旅长米文和率残部在29旅和豫保3纵队的支援下突围退往宁陵。然而，刘伯承这种“拆东墙、补西墙”的措施却使解放军东面的防御严重削弱了。薛岳趁此机会，指挥5军、整11师和整58师等部在徐州以西展开强大的攻势。
8月17日，5军由宿县向西扫荡。解放军地方武装因大部北上参加破击陇海线，留守武装力量薄弱，哪里抵挡得住国民军精锐主力的攻击？5军进展顺利，很快就占领了永城、鲁楼、丹城集等地。同时，为了维护5军的侧背安全，整58师和交警2总队奉命由濉溪口、瓦子口、陶家寨再次向永城东北出动。坚持内线作战的解放军华中第八军分区主力12旅及萧县总队等部由于得不到地方武装的有力支持，根本不是整58师等部的对手，祖老楼、王寨、红庙等地相继失守。为摆脱不利局面，解放军华中12旅于19日前后，向永城东北何家寨反击，但遭到交警2总队的猛烈反击，损失很大，被迫后撤。而后，5军、整58师及交警2总队乘胜追击，先后攻占了韩道口、夏邑、芒砀山等地。到8月21日，解放军华中第八军分区所属地区大部沦入国民军手中。
就在5军等部击溃了解放军华中第八军分区主力的同时，整11师和新21旅方面也取得了重大进展。早在19日，118旅趁解放军7纵主力西移之机，分两路向砀山进击。担任阻击的解放军7纵19旅和冀鲁豫独立旅等部节节阻击，步步后退，终于19日午后放弃砀山后撤。21日，负责掩护整11师北翼的新21旅协同苏9区保安团及铜山、沛县保安团向沛县方向进攻，于当日攻占沛县西南之栖山、华山。22日拂晓，新21旅在苏9区保安团及铜山、沛县保安团的配合下，向沛县城垣发动攻击。守城的解放军地方武装仅数百人，战力有限，哪里抵挡得住国民军主力部队的进攻？仗打到中午国民军，就将守军赶出了城。当晚，解放军又夜袭孟庄，试图在县城附近打个钉子，但遭到国民军及地方团队的有力反击，只得退走。
正当薛岳指挥部队攻占砀山、夏邑之时，河南方面的情况也发生了重大变化。自17日开始，整68师主力（附18旅53团）连日猛攻兰封，与解放军6纵形成对峙。20日，郑州绥靖公署的援军整3师已抵达开封，并以一部向东进攻，在兴隆集与解放军8旅23团发生激战。21日，整47师127旅和整41师122旅到达黄河北岸的阳武，准备向南岸的兰封攻击。在解放军后方，国民军地方团队也积极行动，袭击解放军的后方机关和补给线，给解放军造成了很大的威胁。特别是，考城国民军于16日袭击解放军6纵后方机关，夺去其政治部文件及作战命令，使解放军的下一步作战计划全部暴露。22日，刘伯承鉴于国民军东西夹击之势已成，而自己的补给线也被切断，再战不利，遂命令部队撤出战斗。国民军各部随即展开追击，郑州绥靖公署所部连克曲兴集、兰封、杨楼等地，并解民权、考城等城之围。到24日止，河南方面战线大致恢复战前态势。郑州绥靖公署积极调兵遣将，准备向北追击。
为了策应郑州绥靖公署方面作战，打通陇海线，并完全解除解放军对徐州西南的威胁，薛岳于8月24日下达命令：5军留一个师控置于砀山，以一个师彻底肃清小杨集、马牧集、虞城间解放军；整27军军长王敬久指挥11旅与新21旅旅分由黄口、沛县同时向丰县进攻；整11师师长胡琏率所属118旅及18旅52团向单县方向出击，以掩护11旅及5军的侧翼，并威胁解放军的后路。接到命令后，5军首先发动进攻，当天就攻占了朱王堌、杨集、刘张集。25日，96师奉命向砀山集结，45师则以一部向南追击，在沙岗庙与解放军7纵的掩护部队遭遇，将其击退。26日，45师击破了7纵的后尾部队后尾部队，攻占虞城、马牧集。这时，5军截获不久前起义的原苏鲁豫皖边区18纵队司令蒋嘉宾写给部下的信。邱清泉军长从信中得知，蒋嘉宾部前次投共未成，有再度起事之可能。时间紧急，邱清泉迅速命令96师副师长邓军林和45师副师长郭吉谦带三个团又一个营将该部包围缴械，所获人枪全部拨编各部。至此，陇海线上的解放军全部被国民军肃清。而这时，在徐州的西北面，战斗也趋于尾声。25日，11旅和新21旅遵命向丰县进攻。这一带多为解放军的地方武装，没有多少战斗力，国民军一进攻，他们抵抗一下，大多也就缴械了。因此国民军进展非常顺利。当天日落时，就逼近了丰县。次日晨，国民军由两个方向向丰县发动进攻。战到中午，守军不支北撤。丰县遂告易手。丰县这一仗国民军小有收获，光俘虏就抓了300多。由于国民军总指挥王敬久是丰县人，*对这些俘虏都未加虐待，只由政工人员向他们作了些反共宣传，随后每人发一纸“自新证”放他们回家了事。
通过这次陇海作战，薛岳指挥所部攻占了徐州以西解放军的大片根据地，解除了解放军对徐州西面的威胁，彻底使解放军在内战爆发前制定的南线战略变成了泡影。接下来，他就可以把绝大部分精力投进对华东解放军的决定性战役——淮阴战役。