淮海上空战云密布，徐州四周大军云集。１０月１１日，******发出《关于淮海战役的作战方针》。这是继辽沈战役之后，人民解放军统帅部作出的又一个战略决战的果断决策。这个方针确定先集中兵力歼灭黄百韬兵团，完成中间突破，继歼海州、连云港之敌，尔后歼灭两淮敌人。蒋介石的注意力正集中在东北战场，图谋挽回东北的败局，根本没有估计到南线人民解放军有一鼓聚歼徐州国民党军的能力。10月中旬，蒋介石令徐州刘峙采取守势，利用陇海路阻止华东野战军南下；令华中白崇禧对中原野战军采取攻势。这种处置，说明他完全昧于形势，只是被动应付，国民党军在淮海战役中必失败无疑。
刘伯承预见到战局的发展趋向，早已考虑以少数兵力牵制住华中国民党军主力，尽力将它拉向豫西山区。１０月９日，他根据敌军动态，判断白崇禧有向徐州增援的可能，便向****中央军委报告：“白崇禧发现我军一部南下，令整编四十八师一三八旅接防确山，而整编八十五师回驻广水。令杨干才对襄阳、宜城采取活动守备。拟调整编二十、二十八师作机动使用。令王凌云以一个旅守南阳，其余部队归黄维指挥。……以上说明敌人正调整部署，着重在徐州会战，防我进攻。孙元良已准备东开，黄维兵团亦可能于徐州战地呈现危机时东进。故白崇禧亦在计划掌握大的机动兵力，以应付变化。”
针对敌情的新变化，他又作了相应部署：令第二纵队及桐柏、江汉军区部队从１３日起对平汉路武汉、信阳段继续发动攻击，并寻歼整编第五十八师、二十师等分散之敌，求得调动桂系回援武汉，钳制自崇禧的主力。
在中原野战军主力北上攻击汴之际，刘伯承一再电令第二、六纵队和桐柏、江汉军区部队大造声势，伪装主力迷惑敌人。要求第二纵队等部“拉住张淦兵团向西、特别是向南最为有利，而拉向南又以在江汉、鄂豫两地大肆活动有利”；要求第六纵队等部“将黄维兵团引向西去始于大局有利，因此须以强有力的侦察并指挥豫西地方武装主动接敌游袭，主力则在师同、厚坡地带待机，准备适时移淅川、内乡间。”
刘伯承调虎进山之计果然奏效。白崇禧见中原解放军攻势突然增强，误以为刘伯承犯了分兵之忌，给了他用重兵围歼的可乘之机。因此，严令张淦和黄维“穷追到底”。张淦、黄维不敢怠慢，一个向南深入大洪山，一个向西深入伏牛山，艰苦跋涉于崇山峻岭之间，离开交通线越来越远。这就迟滞了华中敌军主力可能的东调，有力地配合了华东野战军在淮海战役第一阶段对黄百韬兵团的歼灭战。
１０月末，蒋介石鉴于东北战场败局已定，转而想保持华东、华中不失，于是决定由华中“剿总”总司令官白崇禧统一指挥武汉、徐州两个集团，并要黄维第十二兵团东开阜阳、太和、上蔡地区，以配合徐州方向的作战。１０月３０日，白崇禧由汉口飞赴南京参加国防部军事会议，在会上表示接受蒋介石的新任命，不但满口同意将黄维兵团东调，而且还主动提议由张淦第三兵团随同黄维兵团一起行动。蒋介石在北平得知这个消息后，十分高兴。不料白崇禧第二天忽然变卦，以武汉安全无法保障为由，提出将张淦兵团留守华中，而由黄维兵团单独赴援徐州。其实这是因为白崇禧不愿意接受蒋介石给他的烂摊子，又怕蒋介石事后推卸失败的责任。蒋介石勃然大怒，不容变更，白崇禧则固执己见，坚不相让。在顾祝同等的劝解下，蒋介石只得迁就白崇禧的意见。这说明，在军事形势日益暗淡的情景下，国民党统治集团已矛盾重重，蒋介石渐渐失去了驾驭桂系等杂牌武装的能力，不得不作出一些让步。白崇禧返回武汉后，先是令黄维回师确山，后又让他参加南阳作战。蒋介石愈加怒不可遏，索性直接电令黄维按计划行动。
11月1日，黄维的12兵团全军开拔去淮海战场。而就在这个时候，胡琏接到特急电报：“胡老太爷昨晚在西安故世！”胡琏接电后痛哭失声并急电蒋介石，请丧回西安奔丧。临行前，胡琏向黄维建议：与解放军作战，贵在灵活，绝对不能“被围”。所以要国防部调集船只，把12兵团由武汉水运至南京，再和北进兵团抱成团，由津浦路北上杀入淮海战场，否则宁可不去也不冒被围之险。
谁知胡琏一走，刘斐就以国防部作战厅长的身份，严令黄维率全军由陆路进军淮海战场。黄维一白面书生，不敢违抗上级命令，率兵团12万大军，铁流滚滚，马达轰鸣，迅速开往碾庄。同日中央军委指示刘伯承、邓子恢、李达，要求他们指挥部队牵制黄维兵团东调。刘伯承立即令第六纵队实行尾追，不让黄维兵团顺利东进，同时要求第二纵队协同第六纵队坚决拖住黄维兵团。指示他们：“此次配合徐州方面之主作战，不仅关系中原战局之转变，即对推动全国战略形势之发展，争取早日打倒国民党亦属重要之关键，因此需动员全体指战员服从整体利益，不惜任何疲劳，不怕任何困难、消耗与牺牲，采取一切有效办法来截击、阻击东进之黄维兵团，迟滞其运动时间，以协助主作战达到胜利。为此，二纵应计算行程在６日黄昏以前赶到息县；六纵计算行程在６日夜赶到沙河店，并争取先敌于８日赶到上蔡、汝南间，对敌右侧适时阻击、腰击，利用诸河流方向阻敌也需注意。”
11月6日，黄维兵团喘气未停，连粮弹也未及充分准备，就仓促上路了。黄维为了争取时间，亲率第十八军、快速纵队及兵团司令部为右纵队，由确山出发，经正阳、新蔡趋阜阳；以第十军、十四军为左纵队，由驻马店出发，经汝南、项城、临泉赴阜阳；以第八十五军附第十八军后调师第四十九师为第二梯团，于广水集结迅速车运确山，循兵团部行进路线至阜阳。他企图连渡洪河、颍河，直达蒙城地区。殊不知刘伯承早已预作布置，中原野战军第二、六纵队先敌出动，豫皖苏军区地方武装和第一纵队第二十旅正在破坏道路桥梁和作阻击准备。
刘伯承布置已定，立即动身前往淮海前线。11月5日，他率随行参谋、警卫人员，携带电台两部，分乘一辆美式小吉普和一辆美式大卡车，由中原军区驻地宝丰县皂角村村出发。走不多久，汽车进入了黄泛区。这里仍是一片水沼泥潭。汽车沿着隆起的岗地曲曲弯弯地向前行驶，车上的人不时被颠得东倒西歪。坐在一旁的警卫员禁不住嘀咕了几句。刘伯承哈哈大笑起来，说：“你们难道忘记了去年经过此地的情景吗？当时后有追兵进逼，前有泥淖阻隔，上有敌机轰炸，我们还不是闯过来了。现在是坐着汽车去追敌人，还有什么可埋怨的？”一番话说得大家愁眉顿展，笑逐颜开。走着走着，跟在后面的大卡车一下子陷进了泥坑。司机狠命加力，发动机发出刺耳的轰鸣，可车轮只是打着泥浆在原地空转。刘伯承见状，立即从前面吉普车上跨下来，踩着泥水快步走到卡车后尾，招呼大家一起推车。他说：“时间很重要，耽误了时间，这一仗我们就打不上了。”
一出黄泛区，汽车顺着大道飞驰起来，不久便到了开封城。刘伯承一行刚想停车休息，迎面赶来了豫皖苏军区司令员张国华。他向刘伯承报告：黄维兵团已过汝河，正向洪河推进，临时配属的第一纵队第二十旅正沿洪河抢筑河防工事，豫皖苏军区部队则在第二十旅翼侧布防，预定下一步再赶到太和、阜阳一线的颍河岸边阻击。敌人前进途中的道路和桥梁，河流中的船只，已令各分区分别予以破坏或转移。刘伯承满意地点点头，指示他多依靠和发动群众，一定要设法拖住黄维兵团。
11月１０日，刘伯承赶到河南柘城中原野战军前方指挥部，同陈毅、邓小平会合，互致问候。他问起前线情况，陈毅告诉他，华东野战军已完成了对黄百韬兵团的包围，现正一面分割围歼，一面阻击徐州方面的援敌。黄维兵团先头已到新蔡城，正在抢渡洪河，遭到豫皖苏军区部队和人民武装的顽强阻击。
11月１１日，中原野战军司令部接到第二十旅旅长吴忠的告急电报，说黄维已避开了他们设在洪河正面的防守阵地，绕至下游新蔡、李庄桥一线渡河，豫皖苏第八分区部队不支而退。刘伯承、陈毅、邓小平立即复电：“我中野主力前往徐蚌线作战，黄维此举乃与我争夺徐蚌线。你们的战斗将直接影响战局的全局，望务必堵住黄维。”
为了确保第二十旅先敌到达阜阳，他们又令张国华赶赴界首准备船只，指挥第二十旅水运阜阳。第二十旅收到刘伯承的电报后，急如星火，当即展开了急行军，在夜暗中飞速赶到界首。张国华也已把船只完全准备好了。指战员们飞身上船，立刻扬帆启航。一夜顺风顺水，第二天早晨全部到达阜阳渡口。这时，对岸响起了枪声。侦察员报告：敌人的先头部队靠上来了。一场激烈的阻击战在颍河两岸展开。指战员们深深懂得这场战斗的意义，顽强地抗住了敌人的猛攻，坚持了两天两夜，为主力部队的调动赢得了宝贵的时间。
黄维在阜阳渡口遭到顽强阻击，不得已又在下游迂回渡河，但已耽误了两天时间。黄维兵团１５日渡过颍河，沿途道路、桥梁遭到破坏，又遭到豫皖苏军区部队和民兵游击队的不断袭击，１２万人马行如蜗牛，有时一天前进不到２０里，至１８日黄昏，才到达涡河南岸的蒙城地区。这时，中原野战军指挥部早已完成了阻击部署，第一纵队和兼程赶来的第二纵队和第六纵队，在涡阳、蒙城一线设置好了纵深防线。第十二兵团以步、炮、坦协同动作，向涡河北岸的中原野战军部队展开猛攻，企图一举进占宿县，然后向黄百韬兵团靠拢。可是，就在这时，刘伯承、陈毅、邓小平的口袋阵，又已经布设好了。
为了统一领导中原、华东两大战略区和两大野战军的作战行动，统筹淮海战场的后勤供应，****中央军委决定成立淮海前线总前委，于１１月16日致电中原野战军、华东野战军并华东局、中原局、华北局：“中原、华东两军必须准备在现地区作战３个月至５个月（包括休整时间在内），吃饭的人数连同俘虏在内将达８０万人左右，必须由你们会同华东局、苏北工委、中原局、豫皖苏分局、冀鲁豫区党委统筹解决。此战胜利，不但长江以北局面大定，即全国局面亦可基本上解决。望从这个观点出发，统筹一切。统筹的领导，由刘、陈、邓、粟、谭五同志组成一个总前委，可能时五人会议讨论重要问题，经常由刘陈邓三人为常委临机处置一切，小平同志为总前委书记。”这里所提到的“谭”，即华东野战军副政治委员谭震林。
总前委成立后，刘伯承、陈毅、邓小平担负起全面指挥淮海作战的重任，但他们的指挥位置仍然在中原野战军一边，一切号令均通过中原野战军司令部发出。这时候，淮海战场交战双方的兵力都已集中。由于黄维兵团的到来，国民党军集结了共约８０万人。华东野战军１６个纵队，中原野战军７个纵队，以及周围各军区所属地方武装，总兵力约有６０余万人。
刘伯承和陈毅、邓小平根据****中央军委和******的指示，分析了战场形势，认为当前的中心任务是完成围歼黄百韬兵团，各方向的作战必须为这个中心服务。他们见华东野战军既要集中力量解决黄百韬兵团，又要阻击由徐州东援的邱清泉、李弥两兵团，任务确实很艰巨，觉得必须给予有力的配合。他们指挥中原野战军牢牢控制淮海战场南线战局，对黄维兵团采取监视、拖住的方针，不使其到达宿县、固镇与李延年兵团会师，尔后合力援救黄百韬兵团。具体部署是：以第一纵队在蒙城、宿县间作正面防御。以第二、六纵队组成突击集团打黄维之侧后。另以第三、四纵队阻击李延年兵团，诱其深入，寻机歼灭。以第九纵队阻击刘汝明兵团。
11月１９日晚，华东野战军以有重点的多路攻击手段，对黄百韬兵团发起总攻，激战彻夜，于翌日晨攻占碾庄圩，又歼灭该兵团部及第二十五军军部等万余人。黄百韬率残部东逃至第六十四军驻地大院上，继续顽抗。
战役发展到了重大的转折关头。第一阶段实现围歼黄百韬兵团的计划后，第二阶段主要歼敌目标指向谁呢？还在黄百韬兵团被围歼的过程中，****中央军委与总前委、华东野战军领导曾有过多次电报磋商，先后提出过诱歼北线邱清泉、李弥两兵团；围歼南线黄维兵团；割歼由固镇北进的李延年兵团等多种预案。但由于当时黄百韬兵团还没有全部歼灭，战场内外的情况尚未十分明朗，因此****中央军委决定，一切要待歼灭黄百韬兵团之后，根据当面敌人的情况再作决定。１１月１９日黄百韬兵团即将被歼，总前委刘伯承、陈毅、邓小平在研究战场情势后，向****中央军委报告，认为华东野战军经过连续作战已相当疲劳，“刀锋似已略形钝挫”，如不休整，接着歼灭比黄百韬更强的邱清泉、李弥兵团，殊非容易。而中原野战军６个纵队单独对付黄维、李延年、刘汝明３个兵团，困难颇多。如取正面防御，必兵力分散，不能歼敌，且有被敌透过一路增援徐州的危险；如取机动歼敌，虽可逐个歼敌，但对华东野战军作战不无影响。因此建议在歼灭黄百韬兵团后，不如“以七、八个纵队钳制邱清泉、李弥，以六、七个纵队先打黄维、李延年，似为上策。”****中央军委采纳了这一建议，于１９日当天指示中原野战军担负歼灭黄维兵团的任务，华东野战军除速歼黄百韬兵团外，以主力一部担负歼灭李延年兵团的任务。后来，又进一步要求华东野战军以一部协助中原野战军歼击黄维兵团，另一部负责阻击徐州和蚌埠方面的国民党军。
刘伯承、陈毅、邓小平积极创造围歼黄维兵团的条件。１１月１９日，黄维兵团开始攻击渡河，以主力投入战斗，用猛烈的炮火开路。刘伯承、陈毅、邓小平鉴于第一纵队防御纵深薄弱，主力尚未赶到，涡河、淝河间地区狭窄，不便大军作战，故决心改在淝河、浍河之间歼灭敌人。２１日夜，令主力全线转移至浍河北岸布阵，各纵队只以小部接敌进行移动防御，以求消耗敌人，创造战机。
华东野战军方面，抓紧了对黄伯韬兵团残余部队的攻歼，２２日予以全歼。淮海战役第一阶段作战胜利结束。
就在同一天，刘伯承、陈毅、邓小平在中原野战军司令部驻地召集中原野战军纵队领导开会。会上刘伯承表达了淮海战役第二阶段打黄维的意向，说华东野战军于日内即可结束徐东作战，现正分兵南下，钳制徐州和蚌埠之敌，保障中原野战军侧背的安全。中原野战军当前的任务，是设法将黄维兵团包围起来，尔后分割歼灭。他强调指出，大家要充分认识围歼黄维兵团的艰巨性，打个不好听的比喻，这一仗好比是“瘦狗拉硬屎”。他这是针对双方的实力而言的，中原野战军７个纵队共１２万人，与黄维兵团大体相当。但由于大别山的消耗和部分兵力留置，造成各纵队兵员不足，除第一、四纵队各有９个团外，其余均只有６个团，第九纵队甚至只到了５个团。武器装备方面，除了几十门野炮、山炮、步兵炮和２００多门迫击炮外，基本武器只是轻重机枪、步马枪和手榴弹，而且弹药不足。与黄维兵团美械装备的坦克、重炮、自动步枪等相比，处于明显的劣势。邓小平要求大家拿出“倾家荡产”的气魄，他说，只要歼灭了南线敌人的主力，中原野战军就是打光了，全国各路解放军还可以取得全国胜利，这代价是值得的。各纵队领导纷纷表示了坚决打好这一仗的决心。
会议经过热烈的讨论，一致认为，在黄百韬兵团全军覆没之后，黄维兵团为避免孤立被歼的危险，必定会拚死向津浦路靠拢，以同李延年、刘汝明兵团合为一股。由于它机械化程度高，携带有大量辎重，又急于求进，估计会选择宿蒙公路为主要通道。而这里又只有南平集有座大石桥可以通过重炮、坦克。因此，有效地控制宿蒙公路，坚决扼守南平集，是实现阻击和包围黄维的关键。于是，刘伯承、陈毅、邓小平决定把南平集作为扼守要点，令陈赓率第四纵队坚守。
黄维见解放军全线撤至淝河北岸，误认为攻击得手，命令部队乘势攻击前进。但他手下的第十八军军长杨伯涛看出情势不妙，建议暂留蒙城观察一下再说，免得陷入圈套。黄维听了也感到言之有理，但又顾虑违拗蒋介石限期攻占宿县的命令，因此，犹豫不决，在蒙城周围徘徊了一天。这时，黄百韬兵团被全歼。蒋介石对黄维封锁消息，仍督促他继续北进。黄维只得又沿宿蒙公路向南平集攻击前进。
南平集的阻击战打得异常激烈。黄维志在必得。一连两天，他以主力第十八军担任主攻，动用大量坦克、重炮，轮番向南平集发动猛攻，镇子被打成一片火海，许多房屋被夷为平地。陈赓是位久经战阵的老练指挥员，他命令部队把阵地推进到南平集以南数百公尺的田野上。在正面构成以班、排为单位的集团工事，以减少炮火杀伤，增强独立作战能力。待第十八军冲到阵地前沿，即突然开火给予重大的杀伤。黄维所部付出了惨重的代价，但始终未能攻入南平集。
当夜，刘伯承、陈毅、邓小平向****中央军委报告：李延年、刘汝明两兵团迟迟不进，黄维兵团远道而来，孤军冒进，态势突出，现在歼击黄维兵团时机甚好。因此决心放弃南平集，在浍河以北布置袋形阵地，诱敌深入，聚歼黄维兵团。２４日下午，******的复电来了，称：“（一）完全同意打黄维；（二）望粟陈张遵刘陈邓部署，派必要兵力参加打黄维；（三）情况紧急时机，一切由刘陈邓临机处理，不要请示。”
刘伯承、陈毅、邓小平立即按计划行动，指挥中原野战军完成纵敌深入、暗设口袋的新布势。他们以第四纵队第十旅和第九纵队一部吸敌就范，利用浍河将南岸的３个军隔断，然后集中第一、二、三、六、十一纵队两翼包围，予以攻歼。当中原野战军主动后撤时，引起了黄维的错觉，他以为第十八军的突击获得成功，于是下令该军经南平集过河，其余部队陆续跟进。正行进间，埋伏在东西两侧的中原野战军突然全线出击，枪炮声和喊杀声响彻浍河上空。第十八军唯恐孤军深入而被解放军割裂在浍河北岸，慌忙又缩回浍河南岸，这时，蒙城也被中原野战军占领。黄维发觉中了圈套，决定不向宿县前进，改道向固镇转移。２４日黄昏，中原野战军各路部队乘敌人动摇之机，展开猛烈的向心攻击。战斗力较弱的第十四军当即失去指挥，溃不成军。位于最南面的中原野战军第六纵队和第十一纵队，协力封闭了东南方向敌军的去路。黄维兵团被包围于以双堆集为中心、半径１５华里的地区内。第十八军第四十九师掉头南逃，被第六纵队第十八旅跟踪尾追，于２６日夜在大营集一带歼灭。
蒋介石并没有料到黄维兵团会这么快落入解放军的包围圈。２３日，他召集刘峙、杜聿明到南京开会。由于黄百韬兵团的覆灭，会场里一片沮丧气氛。蒋介石为了振作士气，对黄百韬的顽抗到底吹捧了一番。当有人提到黄维兵团的处境时，他吹嘘黄维有十数万之众，装备精良，完全有独立作战和支撑的能力。因此，他决定徐州“剿总”的主力向符离集进攻，李延年兵团和黄维兵团向宿县进攻，南北夹击，打通徐蚌间津浦路的交通。刘峙、杜聿明也认为别无良策，这样似乎尚有一线希望，散会后即飞返徐州。飞机经过双堆集上空，杜聿明通过报话机与黄维通话。黄维焦急地说：“当面敌人非常顽强，应想办法，这样打下去不是办法。”杜聿明回答：“今天老头子已决定大计，马上会对你下命令的，请你照令实施好了。”不久，蒋介石的电令果然传到黄维的司令部。同时，从杜聿明那里也传来徐州主力已大举南下的消息。黄维不禁面露喜色，以为转机来了。他下令仍向东南方向进攻，争取与李延年、刘汝明靠拢。
一连几天，黄维驱使各军轮番向解放军阵地进行猛烈的攻击，但在解放军的坚强阻击下，损兵折将，无法突破包围圈。北面的“徐州主力”，根本杳无音讯；南面的李延年兵团，更是毫无影踪。黄维再度陷入失望，连连向蒋介石求救。蒋介石此时正狼狈万状，手里已无兵可调。华北前线，由于东北野战军挥师入关，傅作义的55万人马已处于被包围的境地。西北胡宗南集团，自顾不暇。华中地区尚有张淦兵团和宋希濂兵团，但一来远水难救近火，二来白崇禧存心作梗，设置种种障碍，难以及时调到。蒋介石处于万般无奈之中，只得复令黄维兵团“固守待援”，并下令空军予以配合。命令传到双堆集前线，黄维及其左右的一班高级军官立刻哗然，他们业已感到局势的危殆，但又别无他法，只得准备作困兽之斗。
在中原野战军前线指挥所里，洋溢着热烈而紧张的气氛。刘伯承、陈毅、邓小平轮流在作战室值班，随时掌握着战役的进程。为照顾刘伯承的身体，邓小平常常主动连值两班，对准时来作战室接班的刘伯承说：”这一阵把你拖垮了，你好好去休息。我年轻力壮，应该多担点工作。有大事一定来叫你。”这一对老战友的革命友谊，在战火硝烟中与日俱增。
这时候，刘伯承、陈毅、邓小平的指挥部已移到宿县西北临涣集附近的小李家，离双堆集仅几十里。在这之前，他们的指挥部往来移动于临涣集周围的严家、周殷圩等村庄，到小李家后相对稳定。这个只有十多户人家的小村庄，从此成为名垂史册的纪念地。