中原大战的战场在河南、山东、湖北、河北、湖南、广西等地，主要交战地域集中于陇海、津浦、平汉三条铁道沿线。陇海线位置在全局的中央，津浦、平汉是它的左右两翼。因此，双方都把主要兵力使用在陇海线方面，因为这一方面的得失胜负，对整个战局将会发生决定性的作用，所以陇海路的战事首先打响。
当时占据陇海路要冲的是河南省主席韩复榘部。韩复榘叛冯之后退到开封，所部只剩下数千人，但是蒋介石仍然非常欣慰，依旧委任其为第三路军总指挥。同时还给他补充了大量装备，于是韩复榘利用这些装备和河南民团重新组织了第20师（师长孙桐萱），还组建了第一混成旅（旅长谷良民）。不久之后其旧部，西北军29师副师长曹福林逼走师长张允荣，率部队来投，韩复榘将其任命为29师师长，还强行改编了西北军席液池的骑兵师和西北军的钢甲车队，经过这一系列的整顿和扩编，第三路军发展到3万余人。
中原大战眼看就要爆发，韩复榘不愿也不敢与西北军正面作战，蒋介石也怕韩复榘再被西北军拉走，故命令其到山东抵御晋军。3月下旬，韩部东开，果然其骑兵师师长张德顺杀死韩复榘派来的亲信，全师除了一个步兵团外都被拉回西北军，该团后归29师87旅建制。这时，蒋介石为了拉拢韩复榘，允许韩复榘将谷良民的第一混成旅扩编为第22师，另外还任命孙桐萱为12军军长（其实还是原来的20师，下辖58。59。60等3个旅），任命曹福林为14军军长（其实还是原来的29师，下辖85。86。87等3个旅），还允许另编1个手枪旅，以雷太平为旅长。
韩复榘部一撤退，万选才部乘势东进，旋即占领开封、归德，万即接任河南主席。四月中旬，冯军第一、二、三各路分别进至平汉路以西之淅川、内乡、叶县一带及陇海路西段之洛阳、郑州一带。晋军孙楚、杨效欧、关福安各部及大部炮兵，由徐永昌、杨爱源指挥经郑州转往豫东兰封一带。驻骥南、豫东和皖北的石友三、刘春荣、万选才、刘茂恩和孙殿英等部均归其指挥。
5月1日，阎锡山、冯玉祥会于新乡，3日同车到达郑州。阎、冯会谈结果，一致认为当前形势十分有利：桂系的李、白对讨蒋军事已准备就绪，即将开始行动；东北的张学良，虽然暂时不能出兵，但已允为弹药之助；汪精卫复电表示同意合作，共举大事；各友军均愿戮力同心，反蒋到底。从总的形势看，时机已经成熟，应即积极准备进攻。他们对此次大举讨蒋信心很强。阎到郑州的第二天，即在郑州之碧沙岗烈士祠召开军事会议，对整个作战方略又作了进一步的研究和具体的部署：以徐州、武汉为第一期作战目标，分由津浦、陇海、平汉三路进攻。津浦路由第三方面军担任，以徐州为目标采取攻势；陇海、平汉两路，因第二方面军由西北东调，集中需时，暂时采取攻势防御。陇海线以第三方面军为主力，孙殿英、万选才、刘茂恩、刘春荣等部及石友三之一部均归第三方面军前敌总指挥徐永昌直接指挥调遣；平汉线以第二方面军为主力，由樊钟秀部配合作战。在平汉路以东，陇海路以南的三角地带，设防于兰封、杞县、扶沟、许昌之线。以第二方面军第四（宋哲元）、五（孙连仲）两路军约十万兵力为机动预备队，控制在通许、尉氏、郑州、洛阳等处，以策应各方。蒋军主力如进攻津浦线，这支军队即长驱蚌埠，以威胁蒋军后路；如蒋军主力由平汉线进攻，这支军队即转向武胜关，策应两路正面部队，以转移攻势。计议既定，阎即加委鹿钟麟为二、三方面军前敌总司令，徐永昌为副总司令，以便统一指挥陇海线方面的作战。会后，冯的摹僚某对冯说：“看情形，晋军意在包打徐州，长驱南下，抢先占领南京，借以树立阎的威信。”冯说：“那好极了，就怕他们包不了，那时再看我们的。”因为当时有不少人认为晋军善于防守战，而对于大兵团的进攻作战则缺乏经验。
阎锡山于6日返回太原，冯亦回洛阳，临行时阎对冯说：“大哥这里有什么困难，请随时吩咐，不要客气，我一定竭力办理。二三两方面军是一家人，我希望做到有苦共尝，有福同享。”阎、冯这次会晤后，冯对部属极力称赞阎真诚合作的态度，对大局前途充满了乐观的情绪。随着郑州会议，中原大战便揭开了它的序幕。
从五月上旬开始，阎冯联军以石友三为左路，由考城向菏泽、定陶搜索前进；以万选才为中路，孙殿英为右路，分别由归德、亳州向砀山、徐州搜索前进。徐永昌、杨爱源指挥的三个军及炮兵部队开到陇海线之后，徐即设司令部于兰封，并以大部兵力策应万、孙两部。
反蒋联军最先与蒋系军队接火的是第三方面军和孙殿英、万选才、刘春荣等部队。因为这些部队当时都在河南，晋军离河南山东比较近，冯玉祥的第二方面军只有一部分部队在陕西关中平原，其他部队需要从各地集结，包括从甘肃青海等地赶赴战场，所以揭幕战基本上是蒋系对小杂牌的战斗。5月11日，万选才、刘茂恩等以主力防御，派出部分支队向南搜索，遭到蒋军进攻后都缩回到主抵抗线死守，孙殿英退守亳州，万选才退守归德。蒋军主力随即进抵主抵抗线开始与守军激战，其中陈调元、马鸿逵在鲁西与刘春荣、石友三激战，刘峙的第二军团部队主力12个师与万选才等部发生激战，顾祝同、陈继承、陈诚等师乘胜进攻，蒋介石于15日亲赴马牧集督战，并以教导第一师围攻归德。此时，冯玉祥第二方面军主力加速向战场开进，计划5月21日参加一线作战。5月20日，对冯阎非常不满的负责防守宁陵地区的刘茂恩发动兵变，诱捕万选才，并向晋军发动突然袭击。晋军猝不及防，刘茂恩获得大胜，是役刘部获晋军山炮36门，八二迫击炮18门，晋造重机枪36挺，步手枪三四千支，骡马300余匹。俘晋军官兵五六千名，晋军杨效欧、孙楚部队遭受损失，关福安部失去战斗力，宁陵、雎县为蒋军所得，同时俘获万选才部师长万殿尊，其余部队由石振清指挥突围西撤，代理万选才军职。初战反蒋联军防线即被打开，阵脚大乱。蒋军占领归德后，其先头部队复乘胜占领归德以西的柳河车站，蒋鼎文部亦逼近木杞县，企图与蒋军正面部队配合围攻兰封。至此，退往亳州的孙殿英，遂与友军失去联系。鲁西方面的石友三部亦被陈调元部所阻，不能前进。蒋军首先赢得开幕战胜利。
刘茂恩反戈，主因为其本是刘镇华之弟，阎锡山却把刘镇华的部队和河南省主席职位交与万选才，故而心生怨恨，于5月21日诱捕万选才于宁陵。阎的意图本是因刘茂恩实力雄厚，不如万选才好控制，恐将来河南的事权难以收回，才将刘茂恩派作万选才的下属。孰料事与愿违，因阎的料事过远，反导致眼前之败，战线动摇。事后，石友三的背叛，又如出一辙。
蒋介石因初战得手得手，便亲自到归德督战，以期一鼓作气，把陇海正面的晋军打垮。他以刘峙的第二军团的主力部队向兰封猛烈进攻，并以空军配合轰炸。由于晋军预先在这方面构筑了坚固的防御工事，并且阎锡山把预备使用在津浦线方面的一个军调来增援，兵力既有增加，兼之采取守势，而且发挥了炮兵的威力，使得蒋军的进攻难于进展。蒋介石看到攻坚不利，乃向晋军的右翼扩张，以陈诚的第十一师由陇海路南侧挺进，致晋军右后感到很大威胁。冯玉祥看到这方面的情况十分紧急，乃不得不把控制在郑州一带的机动预备队孙良诚部早期地投入战斗。这时，各军的位置是：晋军任铁路正面，它的左翼为刘春荣部，再左为石友三部；右翼为孙良诚部，再右为庞炳勋部。孙部的正面为陈诚部，庞部正面为刘茂恩部。阎冯联军作了新的部署之后，全线即开始发动攻势。冯玉祥为了予当面的蒋军精锐陈诚部以迎头痛击，又派吉鸿昌率部协同孙良诚从杞县方面展开猛烈的攻击。
孙、吉二人素以骁勇善战著称，而他们的部队又是刚刚加入战斗的有生力量，一经接战，陈诚部就遭到很大的挫折，几度被孙、吉两部包围，杀伤很多，只以陈部装备优良，机枪火力炽盛，得以突围而出。孙、吉两部紧紧跟进，陈部则节节后退。与此同时，全线其它各部亦有进展。激战十余日，蒋军全线为之动遥直至六月上旬蒋军援兵开到，将全线撤至定陶、曹县、民权、河阳集之线，方始稳住阵脚。这一战役，孙、吉两部进展最快，只以两翼之晋军和庞军前进迟缓，配合不够，致未能予蒋军以更大的打击。当孙、吉两部攻击前进时，前敌总司令鹿钟麟曾要求晋军积极配合进攻。副总司令徐永昌说：“我们的军队你还不知道么，叫他们守在一个地方，倒是有些办法；要是叫他们一往直前地进攻，那就不能和西北军相比了。”
正在双方激战的时候，郑大章指挥的骑兵出现于永城、夏邑一带，予蒋军后方以极大威胁，牵制了蒋军不少兵力。5月31日这天，蒋介石在归德的朱集车站指挥作战。郑部骑兵于夜间急驰八十余里，奇袭归德飞机场，烧毁飞机十二架，俘虏机师和地勤人员五十余名，完成任务后安然撤走。当时郑部这支奇袭部队并不知道蒋介石就在机场近旁的朱集车站，否则蒋介石很有束手被擒的可能。当时，蒋介石的随从秘书周佛海，在回忆录《往矣集》中记述：“当我们住在归德的时候，有天晚上，我从梦中被枪声和很大的轰炸声惊醒。只听见侍卫长王世和大呼道：‘火车头呢？！’因为正预备开动，火车头离开了列车，当时火车欲开不得，枪声响了半小时始息。后悉是冯的骑兵来袭机场。他们的任务，烧了飞机就回，谁知那时我们车上只有200多名宪兵，兵站上又没有其他军队，如果骑兵达到车站，主帅以下都要被俘。那么，那个时候以后的历史，又是另外一个写法。真是气数。不过那个时候，我们都学空城计的孔明，齐说一声‘好险哪！’所以说这一仗是打得很惊险和艰苦的。”
这时，反蒋声浪几乎弥漫全国，而蒋在军事方面又打了败仗，与蒋有密切关系的某人曾担心地问他：“今天消灭甲，明天消灭乙，闹得人人自危，这样发展下去，将来何以善其后呢？”蒋忿然作色而又十分自信地说：“只要人们要官要钱，我就有办法。”