北伐军半年时间即底定东南，打垮了吴佩孚、孙传芳。冯玉祥五原誓师后，也在数月之间席卷了陕甘，并陈兵潼关，准备与北伐军会师河南。因此，山西的地位日益显得突出起来。1926年10月，北伐军攻克武汉后即开始派代表与阎锡山联络，商讨山西参加北伐的事宜。阎锡山也开始考虑自身的出路问题。他派出老同盟会员赵丕廉为代表秘密前往武汉，联系北伐军。
赵丕廉在武汉与邓演达、陈公博等会晤，又赴南昌与蒋介石见面。蒋对阎锡山表示出极度推崇，认为阎是同盟会老前辈，又是铁血丈夫团的成员，盼望阎能早日参加国民革命。之后赵返回武汉与国民政府的苏联顾问鲍罗廷见面。不久，他接到阎锡山拍来的电报，表示山西方面可以在次年5月5日举事。于是武汉政府批准授予阎锡山北方国民革命军总司令的名义。赵丕廉回到太原后，阎锡山却不愿意马上表示态度，也没有就职。
在当时南北对峙，剑拔弩张的形势下，拥兵10万的阎锡山成了双方急于争取的对象。因此，阎锡山决定再观察一段时间，然后见机行事。他从当时的总体形势上已经判断出北洋军阀必将败亡，然而奉系张作霖仍然控制着北方数省地盘，掌握着四五十万大军，如果过早表态，万一北伐军失利，自己的后果将不堪设想。虽然冯玉祥的国民军逐渐恢复实力，可以引为奥援，但是二人关系并不融洽，半年前双方还是仇敌，打得你死我活。还有很重要的一点就是一旦卷入战争，山西省的建设将受到严重影响，会停滞不前。
对此，南方国民政府表示了理解，蒋介石曾说：“以就地理言，山西实为北方革命基地。但被军阀包围、环伺，不到最后关头，不宜轻易表露。现约定：出师须俟两种关键时机，一为山西出师革命既能成功之时，一为山西不出师革命即将失败之时。”
随后，阎锡山看到了北伐大局正朝着有利于革命军方面发展，再迟疑将落后于人。于是向国民党北方执行部组织部负责人李大钊发去密电，要求派教官到太原军官学校，以引入黄埔经验。鉴于阎锡山的态度转变，武汉政府与李大钊遂不失时机的加紧对阎的争取工作。以便在北方形成阎锡山与冯玉祥的合作，一致对奉的局面。
李大钊一面给阎锡山写信，一面在北京会见了阎的代表孔繁蔚，同意由阎组织北方国民革命军，并要求阎锡山的政治态度要明朗化。同时，武汉国民革命军总政治部也派出特派员翦伯赞等到太原，积极策动阎锡山、商震尽快响应北伐。
阎锡山受到鼓舞，开始积极与武汉政府进行联系；并决定于冯玉祥捐弃前嫌，重修旧好。1927年初，冯玉祥移驻潼关，阎锡山即派河东盐运使崔廷献前往拜谒问候，并赠与款项。当时冯玉祥正处在粮饷两缺的困难境地，对阎锡山的慰问十分感动，遂决计与阎携手。
与此同时，阎锡山与奉系的关系日趋冷淡，并逐渐恶化。当冯玉祥五原誓师后，张作霖要阎锡山派兵入陕击冯，阎以种种借口加以搪塞，拒不出兵。对此，张作霖极为不满，谓晋军“既不能攻过武胜关，又不能阻止冯军入陕，尚不准奉方出兵，一任大局破坏，至不堪收拾，殊令人急煞。”
对于阎蒋、阎冯间的秘密往来，张作霖实际早有所闻，但出于抵御北伐之目的，他一方面以“讨赤”为名竭力拉阎加盟，另一方面又不时电报质询一二，然而均被阎锡山巧妙应付过去。从北伐开始到1927年初的一段时间，阎锡山与张作霖若即若离，与冯玉祥重归于好，与崛起南方的国民政府暗通信息，在南北交恶，各种政治军事势力犬牙交错的大环境中潜心积聚实力，并得到敌对双方的推崇和谅解。而其所踞的晋、绥两省皆能免遭战乱之苦，并借机进一步发展了兵工生产，壮大了军队力量，通过推行“村政”，又稳定了地方统治，这一切充分证明了阎氏“保境安民”政略的成功。
根据与武汉方面“次年5月5日可以举事”的约定，阎锡山于1927年4月1日宣布废除北京政府所任命的山西“督办”名义，同时将所属山西、绥远各部军队改称“晋绥军”，自任总司令。4月5日，阎电告其驻汉代表赵丕廉，即日起颁动员令，“向省民宣布服从三民主义”。
但此时武汉政府与蒋介石的“迁都之争”已愈演愈烈，赵丕廉根据武汉的形势，于次日即致密电给阎，称“方密奉电五日宣布动员。据告政府，极为满意。但此间内部化分与前局势骤变，北伐主力难免延缓，我们独挡劲敌，责任过重，宜攻宜守，相机审度。”
几天后，蒋介石在上海发动四?一二政变，在“清党”的名义下，大肆逮捕残杀共产党人，并于4月18日在南京另组国民政府，形成了宁汉对峙的局面。面对南方北伐尚未成功，内部业已分裂的局势，阎锡山起初感到迷惑不解，但经过观察，很快就表明了拥宁拒汉的态度。阎锡山作为山西地方的统治者，出于对工农运动和共产党、共产主义的反感，对武汉政府联俄联共等所谓的“过激主义”的做法本就颇为不豫，在宁汉之争中自然采取了上述态度。对此，阎锡山在5月6日致其驻京代表温寿泉鱼电中称：“武汉不倒，南京必失败，时期愈延长，愈危险。武汉倒后，中国之腐败军阀，必不足为国民党之敌手也。应排除一切，专对武汉。”拥蒋拒汪的态度跃然纸上。5月11日阎锡山致南京蒋介石的真电中更反映出他希图联奉联蒋，共同反共的心机：“此间前本亚农（何澄）兄来意向张雨亭（张作霖）处进行一致讨赤办法。顷接驻京代表称：雨帅面告联蒋讨共，完全容纳百帅主张，已分电效坤（张宗昌）、馨远（孙传芳），对蒋勿再进攻。等语。现在效坤、馨远所部是否停止前进？及近日情况如何？我兄对于暂时联奉讨共有何意见？如何进行？均乞详示，以便与各方接洽为盼。”
四·一二政变后，宁汉双方都以“总理信徒”、“正宗国民政府”自居，因而都未轻言放弃北伐。武汉方面对以后的发展方向有四种不同意见，一是首先东征讨蒋，然后再继续北伐；二是首先继续北伐，进军河南，与冯玉祥国民军会师中原，再与阎锡山联合，驱逐奉军出京津，最后解决东南问题；三是先巩固革命基地，在两湖地区开展土地革命；四是先南伐，向广东进军。4月18日，经国共两党联席会议讨论，决定先进行第二期北伐，向河南进军。与此同时，南京方面也北渡长江，攻打直鲁联军和孙传芳军。阎锡山这时表面上虽与双方依旧保持信使往来，但其感情的天平无疑已经大大倾向于南京一边。北伐两路出兵，战事顺利，6月1日，武汉方面与冯玉祥部会师郑州，4日克复开封；与此同时，南京方面也于6月2日攻占徐州。北伐军已经打到北方，阎锡山认为时机已到，遂于6月3日在山西全省升青天白日满地红国旗，改编所部晋绥军15万人为北方国民革命军，由大同、娘子关两路向东出击，做出了响应北伐的具体行动。此时阎锡山仍以电报力劝奉系新派杨宇霆、张学良等在“讨赤”旗帜下转向“三民主义”，接洽和平办法，并于6月5日再电蒋介石建议与奉方停战，“联合讨共”。阎的主张虽因奉系旧派吴俊升等人作梗未果，但阎锡山不战而胜的政略思想和顽固的反共心理又一次得到了证明。
1927年6月6日，阎锡山在太原就任南京授予的“国民革命军北方总司令”一职，最终亮明了自己的政治态度。尽管阎锡山的表态来得未免有些迟缓，但南京方面仍然表示了欢迎的态度。对此，《国民政府公报宁字第七号》这样说：“蒋总司令十六年一月三十一日已请国民政府任命，中国国民党中央政治会议二月二日通过，国民政府三月十一日特字第三十八号任命。先生十五年派代表赵丕廉于南昌晋谒蒋总司令，嗣经多次晋谒，并至武汉、南京，密切联络，策定北伐方针，研定作战计划，巩固革命阵营，促进合力北伐。先生同时，力劝奉方易帜，服从三民主义。半年之间，全国各方演变纷繁，先生坚持三民主义立场，与蒋总司令密切结合，运筹全局，高瞻远瞩，审度事机，振臂奋起，拒受武汉之游说及委任，接受南京国民政府之任命，于今就任国民革命军北方总司令。”
阎锡山就任“国民革命军北方总司令”后，震惊最大的莫过于张作霖，昨日方信誓旦旦共同“讨赤”的盟友，今日一转眼成了“革命军”。山西方面态度的公然转变，使得因宁汉分裂迟滞了北伐进程而形成的南北军事均势产生了严重不利于奉方的变化。张作霖一方面于6月18日在北京就任“安****海陆大元帅”，任命潘复担任“安****政府”内阁总理，将北方各省军队一律改称“安****”，并发表了7个“军团”级的战略单位，以壮大声势；一方面以北洋诸将的名义发表一篇“讨赤”通电，意在暗示蒋、阎在共同反共的基础上南北“对等联合”，以延缓北洋系的灭亡。另外，又速遣和阎锡山为日本士官学校同学的军政府参谋署长于国翰为代表赴并见阎，明为劝阎接受“安****副元帅”职务，请阎推荐“军政府”阁员，实则窥探阎锡山的动向。时值宁汉相争，无暇北顾，山西军队承平十数年未有大的战斗，如其独力正面对奉作战，战力和数量均非奉军对手。阎锡山很明了这一点，故虽未答应再度与张合作，但友好地接待了于国翰，表示易帜是为了自保，并不意味与张对敌，今后反共立场绝不改变，并剖陈利害，托于转劝张作霖取消“大元帅”称号，改易“东北国民革命军”。至于晋方今后是否向奉方用兵，则始终未与透露。于国翰不得要领，无功而还。奉方只得根据印象判断，阎锡山素性谨慎，且实力有限，又与奉方长期交好，不致单独冒险与奉军作战，故对阎的防备有所放松。
6月11日，阎锡山接其驻南京代表携回的蒋介石真电，要其暂缓进兵，待蒋方攻占徐州后，分兵陇海线，形成侧击京汉线态势，再行出击。此电正合阎意，故山西军队只是号称分大同、娘子关两路出兵，实际并未有大的动作。在北伐战略认识上，阎蒋之间经多次文电往复，基本达成一致：
一、奉方视国（宁）共（汉）为鹬蚌，自以渔人居之，故代奉讨共易，要奉方易帜归从，共同讨共难；二、对付奉、共两敌，先共后奉，奉方实力强大，易在侧后取渔人之利，且中原隔有奉军和冯玉祥大军，晋军很难与南京呼应，成功把握只有六成；三、先奉后共，易于联络南方各省及冯玉祥的军队，且攻略首都北京，是国内外观瞻所在，又兼一举敉平北洋军阀，完成北伐大业，更利于登高号召，统一全国，成功把握即有八成；四、伐奉步骤，由晋方全力从京绥、京汉两路进攻，宁方沿津浦路北上，并尽可能联络冯玉祥部共同北伐。
阎锡山与蒋介石正式接洽不到一年，双方已能就国是达成高度谅解，尽管阎在一期北伐中一兵未出，但他拒汪拒奉，“清党”反共的作为，深深得到蒋介石的赞赏；而蒋能以后学之身，一举成为北伐全军最高统帅，并得到英、美列强和江浙财团的支持，控制了中央政府，亦使阎锡山不得不以领袖人物相看。在各种利害关系的交织中，阎锡山与张作霖的谅解已无法继续下去了。7月7日，南京国民政府军事委员会改组，蒋介石、胡汉民、冯玉祥、阎锡山、李烈钧等46人为委员；7月9日，国民政府发表国民革命军北方军各军军长：第1军商震、第2军杨爱源、第3军徐永昌、第4军傅存怀、第5军傅汝钧、第6军丰玉玺、第7军张荫梧（为副军长，军长由阎锡山兼）、第8军谭庆林、第9军郑泽生、第10军李维新；7月15日，北方国民革命军进占石家庄，奉军退守正定，奉晋冲突已成必然之势。
北方国民革命军各军均由二至三师附炮、骑、工等特种兵分队编成，分为左右两路，左路军为第1、第7、第9各军，出兵京绥路；右路军为第2、第3、第4、第10各军，出兵京汉路；另以第6、第8军为挺进部队，其余为总预备队。当面奉军京绥路方面为第3军团所属的第9（军长高维岳）、第12（军长汤玉麟）军，主力配置于宣化、张家口附近，另在平地泉派驻一部机动部队；京汉路方面则为奉军3、4军团之主力。双方兵力对比，奉军占有较大优势，且能依托京绥、京汉、京奉三条铁路进行兵力机动。晋军则居于外线作战，掌握主动，并且占有炮兵优势，阎锡山密谋采用集中兵力，突然袭击方式，乘对方不备，一举击溃奉军，乘势控制京津。
尽管晋奉双方剑拔弩张，张作霖还是于7月28日、8月25日派代表与晋方联络，希图阎锡山能从石家庄撤军，守中立地位。但这时阎已下了北伐决心，头次还接见张的代表邢士廉，劝张服从三民主义，二次则对张作霖、张宗昌两人的代表拒不理睬。8月初，张作霖为应付局势，一面令驻兵京绥、京汉线的第3军团主力积极补充训练，一面组成三个校阅组，视察该军团所属部队。8月中旬，由第3军团中将参议于珍率领的第一校阅组经过大同到丰镇、平地泉校阅第9军各部后由该军参谋长刘维勇陪同返经大同，突遭受阎之命的晋军大同镇守使李生达扣留，并转送太原，晋北顿呈紧张局势。
此时，出乎阎锡山的意料之外，他所投效的“国民革命军总司令”蒋介石迫于党内矛盾、军费无着和外交压力，于8月13日宣布辞去总司令一职，在沪通电下野。阎锡山为此去电多方表示挽留之意，与汪精卫、李宗仁等人的态度截然相左。为探询蒋介石辞职的真因，阎曾派张云卿于上海谒蒋，张来电说蒋表示：
第一，胡、汪二领袖不能合作，党内不能团结，北伐绝难进行。第二，军政各费全无办法，兵士日发洋二毛、官三毛。第三，外交无办法，现在纵能北伐，亦只能到徐州，山东因日本关系，绝不能打。请阎总司令好自为之，勿靠此间，对奉竭力敷衍，不可破裂，实力绝对要把持，以待将来。我这次出洋，一方面作外交工作，一方面使宁汉自行变化，不久或可归来。
从来电，阎锡山看出，蒋留任已不可能。8月19日，武汉政府通电宣布迁都南京。9月16日，国民党内以桂系和西山会议派把持的中央特别委员会在南京成立，决定宁汉合作，改组中央党部和国民政府。次日，中央特委会推举蒋介石、汪精卫、胡汉民等14人组成主席团（阎锡山在内）。9月21日，汪精卫、唐生智等不满蒋介石恋栈不走，返回武汉成立政治分会，反对南京特委会；9月28日，蒋介石在反对派的压力下离沪赴日本；胡汉民则深居上海，闭门不出。国民党党魁三巨头皆不在位，其他大员们则多沉迷于“党统”之争，根本无暇顾及北伐大业。这一阶段，阎锡山已发动兵力，并于奉军有过多次小的战斗，亟待中央配合支持，而奉方乘南京混乱，在津浦方向连连反攻得手，一时声势重振。故阎锡山连连向南京中枢要人和驻扎河南的冯玉祥发电，请求速定北伐大计，会商共同进兵方略，却杳无回音。因而，这一时期阎锡山成为主张进兵北伐最积极者。
9月29日，阎锡山以“扫除三民主义之障碍以达救国救民之目的”为题发表讨奉通电，指责张作霖“不谋与民合作，只求一己之尊。且日肆以武力压迫国人，既无悔祸之心，何有改善之望”，重申了自己“不惜委曲婉转与张作霖相周旋，原冀其有所悔悟，以期和平解决”的一片“苦心”。即日北方国民革命军各部从指定位置向奉军发起进攻，奉阎之间终至决裂。
奉军当前部署为主力沿京绥、京汉两线配置，力求机动。其防御重心一头在察哈尔的怀安，一头在石家庄和新乐，预备队则布置于津浦铁路沿线和冀中一带，可以方便地向京绥、京汉、山东方面运动。加之奉军经年作战，部署得当，装备又好，其防御相当稳定。
针对奉方部署，为达到突然袭击，尽快攻占北京之目的，阎锡山制定了“集中重兵，两端下手，多路进攻，分割围歼”的战役方针，拟将奉军当面主力及预备队吸引到京绥、京汉线的两头，出奇兵腰斩京汉线北端，“直下京津，厥收奇功”。
至发表讨奉通电时，阎的左右两路军均已进入进攻出击地域：
左路军总指挥商震，所部前敌总指挥、第7军军长张荫梧率第5师王靖国部由大同沿京绥线向张家口附近之敌攻击前进，最靠前的第14师李服膺部由阳原县经蔚县谢家堡向南口附近之敌攻击前进，第15师李生达部由天镇经怀安县左卫向宣化附近的沙岭子之敌攻击前进，攻占张家口、宣化后即向北京进军，以策应右路军；所部左翼队司令，第1军第3师师长杨士元率本师及配属部队攻占平地泉，并同时袭击同北丰镇之敌；所部独立骑兵队司令、第1军骑2师师长郭凤山率部配合左翼队袭取平地泉、丰镇后，向怀安方向运动，策应15师；所部挺进骑兵队司令、第9军军长郑泽生率本军各部及骑9师担负东翼阻击任务，协同左翼队袭取平地泉后，转战察东、古北口附近，待敌向关外退却时，截断京榆（山海关）间交通，全歼残敌；所部骑兵别动队司令、骑6师师长杨兆林率本部及骑7师担负西翼阻击任务，在察西一带阻敌退却，并负责阻断张家口、多伦及京、张之间的交通；总预备队由第1军（缺第3师）、步兵第9师、直属炮兵及保障分队组成，接应各部。
右路军为北方国民革命军主力，由阎锡山直接任总指挥（实际由徐永昌代行），第3、第2军军长徐永昌、杨爱源分任副总指挥，第2军第6师师长孙楚任前敌指挥。该路军以2、3联合军为主力，由石家庄、获鹿、平山、井陉一线向北进攻；第4军（缺第7师）傅存怀部由高邑、邢台沿京汉路向北车运，接替驻石之第2军的防务，并担负侧翼佯攻任务。另派第6军第4师傅作义部为一支奇兵，由太行山间挺进，从京、保（定）之间截断铁路，以求全歼京汉路保定以南之敌，并相机策应左路军李服膺部。
战局开启，北方国民革命军初期进展顺利，不到一周时间，左路军前锋王靖国师轻取张家口、万全，李生达师经激战击退奉军高维岳第九军，占领了宣化；右路军杨爱源第2军兵力最强，2、3联军很快以优势兵力推进到接近保定的定县、望都一线。同时，冯玉祥所属各部在陇海路、津浦路也发起进攻，以策应晋军。面对两线作战，张作霖决定在津浦路方向取守势，集中兵力先解决西线战事。10月10日，张作霖调整了兵力部署，向京绥、京汉、陇海三路军队下了总攻击令，开始向阎、冯军队发起反攻，当日即收回定县，切断了晋军右路军前线部队与石家庄方面的联系，右路军全线动摇。原在石家庄亲自指挥战事的阎锡山次日即将总部转回正太线获鹿车站，右路前线由徐永昌任前敌总指挥，所属各部皆转战于太行山地。左路军6日推进到张家口、宣化一线后，即遭到奉军激烈抵抗，奉方频频增兵，先头15师伤亡几近三分之一，陷入与敌胶着状态。10日，奉方又发起猛烈反攻，前敌总指挥张荫梧最后出动了卫队，才保住既得阵地。由于晋军兵力不足，在收缩兵力转战之际，被张作霖调集来的号称30万大军节节压迫，张学良第3军团等部由石家庄向娘子关南北地区进攻，晋军右路军全军退守娘子关；张作相、万福麟5军团等部反攻连连得手，乘势将商震左路军压至天镇永嘉堡一带，才被李生达15师力战所阻。商震拟在大同布置防线，因阎锡山深感兵力薄弱，遂令放弃雁北、绥远，左路军集结雁门关一带山地，凭险防守，晋北重镇大同也被奉军占领。幸得奉军一向在铁路沿线机动作战，缺少山地攻坚作战经验，加之阎锡山及时收缩兵力，在南北两个方向组成依山傍关据险防守的重兵防御集团，并增强了炮兵力量，虽暂时失去大同以北的地盘，但毕竟大部拒敌于“省门”之外，此时已是1927年10月底了。
因奉军反攻猛烈突然，北方国民革命军左右路主力均很快收缩于省内，执行南路挺进任务的第4师傅作义部在挺进中与上级失去了联络，未得到撤退命令，遂照原定计划出易县，趁奉军主力云集京绥、正太两路，腹部空虚的机会，于10月13日一举攻占京南重镇涿州。因为联络中断，无法确定下步方略，傅作义只得踞城固守。而这时，涿州已成为陷于奉军防守腹地的一座孤城。奉军向来看不起晋军，认为其打不了硬仗。现在晋军全数兵败撤回，孤军一师守一座孤城，更不被张作霖放在眼里，遂令张学良、韩麟春限期攻取涿州。孰料奉军三次总攻，多次增援，均未拿下涿州。张作霖震怒，派万福麟亲自督战，责张学良亲自指挥攻城，最多时一天竟向城内发射炮弹四五千发，及至派工兵炸毁西南城墙。傅作义则集中兵力，亲自督战，又两次打退奉军进攻，固守不移。
傅部以一师兵力坚守涿州３个月，牵制了奉军十万之众不能南下，大大缓解了冯玉祥部压力。傅数次电阎请援，阎锡山无力增援接应，只得多次回电嘉勉，12月18日，阎锡山致电傅作义着第4师全师官佐一律晋衔一级，军士以排长记名，并赏洋7万元鼓励士气；南京方面此时一面催冯玉祥、白崇禧等部北进接应晋军，一面于12月27日任命徐永昌、傅作义二人为军事委员会委员，以对阎锡山表示笼络，而以师长一级任军委会委员，傅作义实为空前绝后之一人。尽管如此，涿州遭奉军重重围困，城中粮食、树皮乃至鼠雀均被军民食尽。傅作义粮尽援绝，而围城奉军也成强弩之末，双方即接受了北京商民代表调停，议定傅部改编为国防军而不属奉军序列，傅作义本人离开部队。从1927年10月13日攻占涿州至1928年1月12日傅部接受改编出城，历时90天的涿州攻防战终于结束。
由于奉、直联军同时在陇海路方向对冯玉祥猛烈进攻，冯部当面压力很大，已无法策应北方的阎锡山。阎锡山兵退省内后，再无力发动反攻，只能调整部署，以第2、第3两军为主力，组成右翼地区军，由徐永昌、杨爱源分任总、副指挥，孙楚任前敌指挥，以井陉为前进阵地，防守固关、娘子关、六岭关、黑三关一线；以第1、第7两军为主力，组成左翼地区军，由商震、张荫梧分任总、副指挥，防守龙泉关、长城岭、铁角岭、雁门关一线，并以京绥线撤回的骑兵担负阳方口及其以西地区防御，以李服膺师布防于繁峙平川两侧，担负诱敌入繁峙川“口袋”的任务。晋军部署既当，又兼山西表里山河形胜之地，终于稳定了战线。阎、冯两军遥相呼应却伐而未进，深感缺少中枢协调和经济力量支撑之苦，遂形成邀蒋复职的共识。