段祺瑞执政府成立后，国民军和奉系军阀之间的矛盾虽然越来越尖锐，但由于双方都不具备战胜对方的绝对优势，并有面对直系残存势力威胁的共同的利害关系，故能在段祺瑞“均衡”策略维系下，暂时维持表面“合作”的局面。1925年初，张作霖与冯玉祥结为“金兰之好”。奉系还送给国民军一军40尊火炮。但是，双方由于不同的政治倾向及围绕控制中央政权及争夺地盘等问题，仍时时发生冲突，并最终导致关系的完全破裂。
奉军入关后，张作霖的野心急剧膨胀，梦想统治全中国。他拥戴段祺瑞出山的目的，就是要以段为过渡，最终自己登上大位。他在陈兵苏皖的同时，就开始为谋求中央大权造舆论，攻击段祺瑞上台后为群小包围，一事无成。张作霖对段政府的体制不满，企图先从段祺瑞手中分权，建立一个由自己控制的内阁。但是，段祺瑞执政府毕竟是在国、奉双方拥戴基础上建立起来的。国民军利用占据北京的优势，力求通过段政府谋求最大的政治利益。所以，国民军是奉系完全控制段政府的最大障碍。奉系极力想将国民军逐出京畿，如暂时达不到目的，最起码也要派兵进驻北京，削弱国民军对首都独占的地位。
在张作霖进北京之前，先派出一万余人的部队先行入京，并力保李景林为北京卫戍司令，以代替鹿钟麟。但是不久有人提醒他，冯玉祥是一个心狠手辣的人，惯于使用非常手段。张作霖真有点害怕了，于是赶快离开北京，军队也撤走了。但是，张作霖并不甘心，在1925年初又借口“巩固中枢”，再次向段政府提出要驻兵京师，并不惜为此与国民军一战。奉系依仗优势兵力把持了直隶政权。1925年11月18日，李景林授意天津各界以他是直隶籍为由，推举自己为直隶保安司令兼省长。本来，段祺瑞已于12月3日任命卢永祥为直隶军务督办，杨以德为省长。但是，在张作霖的压力下，段祺瑞不得不于11日任命李景林暂署直隶军务督办。当时，段祺瑞还任命孙岳为河南省省长。12月26日，李景林以要统一直隶事权为由，向国民军要求交还保定、大名两个辖区，此后，又要求其交还张家口。
张家口地处直隶万全县，李景林也要国民军将其出让。但是，从历史上看，察哈尔都统历来都驻节于此。张家口是中国与俄国、蒙古贸易的商埠，工商业较发达，有大宗税收。所以，国民军坚决拒绝了李景林的要求。此事虽然未使国民军与奉军的矛盾激化，但令双方的关系产生了更大的裂痕。
此外，张作霖还借管理旗产为由，与国民军争夺京兆尹一职。清朝灭亡之后，民国政府接管了在京兆及直隶的“旗产”数千万亩，每年有上千万元收入。段祺瑞当政后，张作霖被任命为“协定旗产总办”。为此，奉张派人在京组织了旗产事务处。但是，旗产大部在京兆，仅顺义县十分之七的耕地就都是旗产，由国民军所派的薛笃弼以京兆尹身份控制。段祺瑞政府为此多次调停也没有结果。所以，奉系决意与国民军争夺京兆尹一职，并认为为此有派兵进驻京畿的必要。薛笃弼出任甘肃省长后，国民军又以刘骥继任。奉系为此大为不满，并志在必得。国民军也坚决不肯放手。段祺瑞无奈宣言不用双方人物。直到1925年10月份，张作霖仍不甘心，电召安福系亲奉人物曾云沛磋商，“想不居荐人之名，而收复地之实。”
国民军被迫让出直隶、热河之后，在战略上处于不利的地位。奉军多次在天津扣留国民军进口的军用物资，并切断了国民军一军与二军、三军的交通联系。1925年9月，国民军一军和三军虽然分别占据了甘肃和陕西，但仍处在受奉军挟制的被动地位。因此，冯玉祥急欲得到一个出海口，想得到直隶、天津或山东，并恢复对京汉铁路北段的控制。因此，国民军暗中与反奉诸方联系，等待时机。国民军与奉系无论在政治上及实际利益上，都有水火不相容的矛盾。
1925年3月，张作霖就向外国外交官透露，他不久将攻打国民军。5月，奉系利用财政及安徽督军等问题向段政府施加压力，要其报销在第二次直奉战争中所花费的巨额经费（一说1200万元，一说700万元），并要段立即将皖督一职任命给奉系人选。5月14日，张学良率两旅奉军到天津，旋即向段政府提出让国民军将北京北苑、西苑军营让给奉军驻扎的要求。到5月底，奉军陆续开进关内的兵力达10多万人。张作霖提出上述问题并挥兵入关的真正目的，是企图一举将国民军逐出北京，迫段祺瑞下野，攫取最高权力。5月17日，日本朝日新闻社发表社论，认为奉国双方的冲突不可避免。
面对奉系咄咄逼人的气势，国民军以退为进，表面上忍让。此时，国民军一军兵力虽然扩充为八九万人，但分布在北京至缓远一线，与国民军二、三军虽为军事联盟，但实际上不相统属，故无力与奉军抗衡。所以，冯玉祥在公开场合对记者宣称，国民军与东三省无误会可言，并同意将北京西苑、北苑、通州等地营区出让，而暗中则开始与孙传芳秘密结盟，策划反奉。
段祺瑞对奉军再次入关也不赞同，担心自己成为奉军的政治俘虏。为打消段的疑虑，张作霖曾函告段祺瑞，称冯玉祥已赞成奉军进驻北京，并说“近来党人趋于****，甚关国家治要，奉军有拱卫京师之必要”。５月２０日，张作霖打电报给段祺瑞，告之其将入关，“对任何事项，不加干涉”；并威胁说“如我公不以奉军入关为然，则将苏皖鲁奉军悉数出关，不再与闻时事”。段祺瑞无奈，只得于２１日复电对其挥师入驻京畿表示欢迎。同一天，张学良以代父为段祺瑞夫人祝寿为由到京，直接向段陈述奉军移驻京师等事，还准备赴张家口与冯玉祥会晤。但是，张学良突然于晚上由京返津。国奉关系顿时紧张。国民军代表张树声等在天津与张学良紧急磋商，就奉军进驻京师问题达成协议。５月２７日，奉军进驻通州，驻该地国民军退驻南苑。
5月30日，张作霖到达天津，却迟迟不去北京。他向段祺瑞提出改变政府体制，让梁士诒组阁，并通过叶恭绰为之说项奔走，与梁本人也多次密谋。段祺瑞虽然以修改临时政府体制属临时参议院权限为由拒绝，但又不敢完全开罪奉张，故一再邀请张作霖赴京面谈，并派梁鸿志赴津催驾。但是，张回电称进京尚无日期。与此同时，张作霖电邀冯玉祥来津共议时局。冯玉祥也复电婉辞，电文有“弟与兄忝契金兰，且兄长于弟，如有伟见，自请照办，弟无不奉行”等语。
6月2日，张作霖在天津召集奉系军事头目开会，议决让梁士诒组阁及京畿驻军等四项决议。但是，此时奉系与苏联关系急剧恶化。苏联政府连续照会中国北京政府，就东北当局收留白俄及中东铁路督办鲍贵卿“违背中苏协议”等提出抗议，并在中苏边境举行军事演习。奉系有了后顾之忧。另外，时值上海“五卅”惨案发生，全国掀起反帝爱国浪潮。张作霖在此时还不敢冒天下之大不韪，在北方再掀起中央政潮。此外，他又想趁机进一步染指长江流域，急派兵进入上海，从而使其战略重心一时南移。因此，国奉矛盾开始有所缓和。不久，五卅运动波及东北。7月20日，张作霖离津返回沈阳。但是，国奉都把对方视为逐鹿中原的主要对手，均秘密地为未来的决战做准备。