蒋介石回到南京，恼羞成怒地将前敌总指挥、第十军军长王天培扣押起来，以追究战败的责任。王天培虽然有些无辜，但是在反攻之战中的确畏葸不前，保存实力，而且不听命令，擅自撤退。而且王天培为人骄傲自负，同蒋桂之间关系都不融洽，故此成了替罪羊，却无人为他说话。至于后来王天培被杀，人们都认为是蒋介石所为，但是当时蒋已下野，真正的执行人是何应钦。何与王早年在贵州时因为争权夺利结怨很深，现在王天培落到他手里岂有好下场？也算公报私仇了。可惜北伐军中的贵州一系三雄，袁祖铭、彭汉章死于唐生智手里，王天培为何应钦暗算，都未能马革裹尸，诚让人叹息不已。此中究竟颇值得深思。
然而蒋介石的行为并没有起到杀一儆百的目的，反而使各将领人人自危，惶恐不安。更多的人开始不听从蒋的命令了。南京国民政府成立后，蒋介石成为当然的领袖，李、白等桂系人物虽在“清党”中立有大功，却只能当配角，这已使他们很不服气。其实，李宗仁早就看不起蒋介石，认为“蒋氏最多只说是偏将之材，位居主帅之尊，其智慧、德性、涵养不逮远甚”。李、白本来就有拉拢汪精卫来抑制蒋介石的意图，4月初汪精卫由欧洲返国抵沪时，李、白曾做汪的工作，私下向汪表示：“只要汪先生答应分共，对于蒋介石可以请其下野。”这一次，他们决心不放过机会。
5月15日，李宗仁曾亲赴江西湖口，与反蒋的汉方第三军军长朱培德晤谈。李宗仁对朱培德说：“党内纠纷和另立中央的是非极难辩明，何况南京国民政府已经成立，欲罢不能。目下当务之急，不是辨是非，而是解决实际问题，如何避免宁、汉双方的火并，然后再缓图彻底解决。”李的这番话表明，他在宁、汉之间并不站在蒋的一边，他所谓的“彻底解决”，即隐含“请蒋下野”之意。
7月15日，武汉汪精卫、唐生智集团为摆脱自身在国民党“党统”之争中的不利地位，步蒋的后尘，宣布“分共”。宁、汉在反共这一问题上，步调已基本一致，妥协趋势已经形成，但双方的头面人物间的意气之争并未止息，因而对立依然如故。冯玉祥在“七一五”前后几次发出通电，主张和平解决宁、汉纠纷。对于冯玉祥的劝和，汉方表示响应，7月24日，汪精卫、谭延闿、唐生智、孙科联名致电冯玉祥，表示愿意“和平统一”，并同意迁都南京。蒋介石由前线败回到南京后，连日在丁家花园召集将领会议，讨论再次振作、共同御敌的策略。他与李、白相商，请其“出兵帮助御敌”，对付汉方。李宗仁、白崇禧其实已在加紧联系各方反蒋势力，准备把蒋介石赶下台去。他们乘蒋的嫡系部队多在徐州前线之机，将浙江的周凤岐部调到南京周围，第七军借西讨武汉之名，部署在南京以西地区，并秘密地与武汉方面的军队串通，以便相机行事。此时李宗仁见时机已趋于成熟，并不避讳与蒋的对立，就以“对汉宜先礼后兵”为辞，反对蒋介石的计划。同时李宗仁致电冯玉祥，公开呼应冯的“宁汉双方一致反共，既已志同道合，请速进行合作”的建议。又写信给汉方唐生智，表示“只欲武汉反共，予愿已足”。
当时宁方所拥有的部队名义上有十多个军，但其中真正能作战的仅第一、第七两军，其余都是收编不久的杂牌军，不仅兵质恶劣，而且须用重金羁糜，耗费巨大，靠这些部队作战，结果可想而知。而李宗仁此时已提倡宁汉合作，不会听从蒋的指挥进攻汉方。即使蒋介石的嫡系第一军，也因何应钦受李、白拉拢，蒋介石已感到不像以前那样指挥自如。蒋在上海事变后不久，因感到李宗仁部对他的威胁，曾密令何应钦安排一场兵变，将“不守法”的桂军一部缴械，但何应钦因把握不大，不敢动手执行。
在内外压力之下，8月8日，李宗仁、蒋介石、胡汉民等南京要人也发表“为武汉分共愿与武汉合作电”，欢迎武汉首领到南京“柄政”，宁汉对立于是逐渐消失。在此之前，南京已和上海方面的西山会议派代表开始了统一党务办法的会谈，于是形成宁、汉、沪三方合流的态势。值得注意的是，8月8日的电报，由李宗仁领衔发表，蒋介石仅名列第四名，蒋氏心中不平可想而知。
蒋介石眼看南京方面已多数与自己对立，指挥不灵，决定走出一着险棋。他以迟疑的口气向李、白试探说：“我想趁此休息一下。”未等话毕，白崇禧便接上话茬说：“总司令如果真需要休息，我也赞成，否则徒然在政治上掀起一个大风浪，就大可不必了。”李宗仁则干脆请蒋“自决出处”。蒋介石的脸红一阵白一阵，答道：“余惟有以中央执监委员之主张为依归。”言罢，拂袖而去。蒋介石公开提出辞职动议，本想对各方进行威胁。谁知提出辞呈后，却没有几个人应和，挽留者寥寥无几。辞职顷刻变成事实，使他极其狼狈。在地位不保的情况下，他无可奈何地表示：“武汉方面一定要我下野，否则势难甘休，那我下野就是了。”8月12日晚，蒋又在丁家花园召集军事会议，李宗仁、白崇禧在会上力主与武汉合作，李宗仁发言最为激烈，指责蒋介石“不宜顾个人地位而牺牲党国大计”。吴稚晖等还做做样子，想要挽留蒋介石，但连何应钦都一言不发。这使蒋介石十分难堪，势非下台不可。后来吴稚晖等再召集宁方要员开会，讨论南京政府局势及蒋的去留问题。何应钦站起来说：“蒋是自己要走的，他走了很好，从此我们也可以爱一爱国家。”接着就是白崇禧站起来说：“革命是大家的事，蒋走了很好，我们大家联合起来作革命工作，少了他我们一样可以作。”
宁、汉、沪三方正在酝酿妥协之时，蒋介石于1927年8月13日发表《告中央各执监委员书》说：“本年七八月间，察知一般军人多不能认识党，不愿尊重党……中正以为情势至此，若再恋战，即非党所任命之总司令，而将成武力之傀儡。中正决不愿如此，故决然引退。”
同日，蒋介石辞去国民革命军总司令职，宣布“下野”。蒋旋即取道宁波回奉化老家。支持蒋介石的胡汉民、吴稚晖、李石曾、张静江、蔡元培等也宣布辞职，离宁赴沪。
1927年中，诸侯争霸，群雄并起，主义、政见往往都只是幌子，一切唯以实利为依归。蒋介石的下野，和军事实力的消长，政治力量的分化组合，各种利益关系的微妙变化紧密相关。刚届不惑之年的蒋介石此时尚未表现出纯熟驾驭各种关系的足够能力，也暂未获得可以控制全局的充足实力。在形势不利，而人人又皆欲一展身手，争执牛耳时，退避下野，窥测风向，或许是痛苦却不失明智的选择。
蒋介石回到家乡后其实一刻也没有“宁息”，每日函电往来，宾客盈门。他通过各种渠道，采取各种办法，控制各方势力，为东山再起做着各种准备。
9月24日，蒋介石来到上海准备东游日本。表面上是为了拜见宋美龄的母亲，征求其对二人婚事的意见，实际上是为了寻求日本方面政治、经济上的支持。
29日，蒋介石与张群一行抵达日本长崎。10月3日，到达神户，由宋子文安排拜见了在有马温泉养病的宋太夫人。宋太夫人同意了他与美龄的婚事。
在日本游历期间蒋介石回顾日本对华政策，认为其错误有三：一、以为中国革命成功，其东亚地位动摇；二、利用中国南北分裂，从中操控；三、利用无知军阀，压制民众。10月23日，蒋介石来到东京，住帝国大旅社。当日以个人名义发表了《告日本国民书》。
他打着孙中山继承人的旗帜，表示了对日本各方面进步的钦佩之情，希望日本给与中国道德及精神上的援助，确立两国亲善的基础，实现两国共荣的美好局面。蒋介石希望以自己的表白换取日本当局抛弃北洋军阀，支持自己统一中国。23日当天，蒋介石拜见了日本黑龙会首领头山满，他们交谈十分投机。
从10月24日起，蒋介石走马灯一般与日本军政人物、社会名流包括内田良平、宫崎龙夫、秋山定浦、头山满、佃信夫、萱野长知、梅屋庄吉、涩泽荣一、出渊胜次、犬养毅、长风外史、飞松宽吾、佐藤安之助、山本条太郎等公开与秘密的会谈、访问。
11月2日，蒋介石以师生之礼拜会了长冈外史和飞松宽吉。这二位是他在新野炮兵联队当入伍生时的师团长与联队长。临别时蒋介石以“不负师教”之亲笔条幅分赠二人。
11月5日，至东京青山访晤日本首相田中义一，二人在首相私邸会谈，张群和佐藤安之助少将为翻译。从11月5日下午1时半始，进行了约2个小时，因田中要去腰越别庄而结束。田中希望再谈一次，蒋介石回答恐不能在东京久滞，可以同张群再议。从会议记录来看，双方一问一答共18个回合。当田中问及今后的打算时，蒋介石颇为老练地回答，过去许多计划和希望都失败了，将来怎么办，希望听取教诲。田中显然是有备而来，其谈话的要旨，可以归纳为以下三点：
（一）“若未能安定长江以南，一旦被摘掉嫩芽之共产党再度萌芽生叶……此忧甚大……故以为阁下宜专念南方一带之统一。”
（二）“至于北方张、阎、冯之争斗阁下不必插手，此类争斗自己便会有所结果。”
（三）“世间动辄便称日本帮助张作霖，其实全然不符事实。日本绝对不援助张作霖，漫说物质援助，即便劝告一类其他帮助亦一切皆无。日本的愿望唯安心于满洲之治安维持。”
田中的这番谈话，其中心是劝告蒋介石经营南方，缓图北伐。如此，一则可以坐收北方军阀互斗之渔利，二则可以彻底镇压共产党。“此即日本期望反共产主义之阁下坚守南方之大望所在……日本对此必尽力给予援助。”
对田中的劝告，蒋介石的回答是：“坚固南方而后北伐，亦全然同感。唯明察此道理却仍举北伐，乃因当时的情形是忧虑若不北伐，祸乱反而会起自南方”，委婉地表示，若不北伐，日本之“大望”反而会落空。
在对话中，蒋介石不失时机地再三向田中表明对己方实力的估计，反复暗示北伐的决心。蒋介石说：“总理（孙中山）曾有言不得牺牲日本之利权。我亦相信日本在中国的利益安全即中国之国利民福之安全……中国军队的革命运动是以中国及列强的利益为目的的……中国的排日风潮是由于日本帮助张作霖，吾人虽谅解日本之态度，然厌恶军阀的中国国民则误以为军阀是依赖于日本的。故日本欲帮助吾人同志早日完成革命，则必一扫国民之误解。事如若如此，满蒙问题应容易解决，排日亦能绝迹……俄国因这层意思已加干涉于中国，日本岂有任何干涉援助不予之理。”
谈话至此，蒋介石已经将全部意图表达出来。他不仅要求日本停止援张，而且要求日本援助“国民革命”，若如此，所谓“满蒙问题”的解决和与日本经济性命攸关的“排日抵制日货”运动的平息，都是可以考虑的。然而，对蒋介石这一番谈话，田中却不冷不热地回答：“听过阁下毫无隐藏之心底之声，我也想再畅谈一番。奈何出发时间迫临，即令延宕出发，今日也谈不完。还是改日再议，千万在滞留期间再有一次甚于今日之恳谈。”
蒋介石当然颇为不满。他在当天的日记中写道：“然彼田中仍以往日军阀官僚相视，一意敷衍笼络，而相见不诚。则余虽不能转移日本侵华之传统政策，然固已窥见其政策之一斑，此与余固无损也。”
青山会谈应当解决的问题是具体确定北伐再举时的行动界限，或日本至多将在何等程度上容忍南军北进，但没有取得明确的结果。在会谈时，蒋介石曾对田中义一说：“渡日一个月以来，与贵国各方人士接触之后，感到置国内时局不顾而旁观于海外，事实上已不可能。故陈述自己的想法并听取阁下教示后，决心归国。”空手回国是蒋介石所不能接受的。
从青山会谈的内容介绍来看，当田中提到日本没有支持张作霖，唯关心满洲治安时，蒋介石没有作正面回答；同样，当蒋介石提出日本放弃扶张政策则满蒙问题容易解决，并希望日本援助“国民革命”时，田中却中止了会谈。
此外，造成北伐于长江一线戛然而止的一个重要原因，是日本第一次出兵济南。当继续北伐时，日本又第二次出兵济南，并增兵津京地区。然而，由蒋介石亲任总司令的第一集团军却在与日本谈判未有最后结果的情形下，绕过济南，直逼长城以南。蒋介石此时的勇气又从何而来呢？
看来蒋介石在访日期间得到了田中的某种保证。那么，除青山会谈外，蒋介石是否与田中还有接触？山浦贯一编修《森恪》一书这样写道：“蒋入京以后，首先便让张群同东京的要人接近。张访问了陆军省铃木贞一氏，接着又访问了参谋本部第二部长松井石根氏，请求搭桥会见田中总理。蒋、田中及森在箱根进行了会见。”
在青山会谈之前，已经有过“箱根密约”。但是，如果将青山会谈与箱根密约的内容作一比较的话，则不难发现两者之间存在着微妙的差别：即蒋介石再三重复箱根密约的约定，而田中却反复劝告蒋介石巩固南方，缓图北伐，并尽量避免对蒋介石的要求作出正面回答。在短短不到半个月时间内，田中的态度发生了这样的变化，的确耐人寻味。
据已公开的各种资料综合分析，田中内阁时期日本外交的首要追逐目标，还是力争在短时期内解决“满蒙问题”。东方会议制定的《对华政策纲领》共计八项，前五项规定了对中国“本土”的基本方针，后三项规定了“满蒙政策”。经内阁承认后，由田中上奏天皇，其基本精神就是要将“满蒙”与“中国本土”相分离（注：参见日外务省编《日本外交文书》昭和期I，第1部第1卷，第36-38页。）。很显然，要实现这一政策目标，就须想方设法使北部中国的“混乱局势”继续保持下去。1927年当北伐战争顺利进行时，驻奉天领事吉田茂判断，奉军“早晚难免败亡”，一旦“京津地区的****波及东三省”，局面就更加不可收拾，故“希望帝国政府劝诱列强，以力量强制南北两军停战。”（注：1927年驻奉天总领事吉田茂致田中外相电，第156号，日外务省编《日本外交文书》昭和期I，第1部第1卷，第168-171页。）在东方会议期间，驻华公使芳泽谦吉提交《中国一般政情报告及意见》，认为，“如果北伐能维持现状，两军处于对峙状态，时局可算小康。”（注：参见佐藤元英著《昭和初期对中国政策的研究》，原书房1992年版，第80页。）可见，作为外务省的技术官僚，吉田和芳泽之辈都认为中国继续分裂混乱，或阻挠中国“统一”，是实现“满蒙政策”的最好条件。
身为陆军退役大将，曾参与1906年第一次国防方针制定过程的田中义一，出于对苏战略的传统，特别重视与苏联接壤的“满蒙”地区的军事地位；身为政友会总裁，正值政友会“产业立国”党是提出之际，为解决资源和人口问题，田中又特别重视“满蒙”的经济地位。政友会在失却政权十数年后所以能重返执政党地位，就是伙同军部攻击民政党的“软弱外交”，许诺一举解决“满蒙”问题才得以实现的。在田中看来，只要同列强的协调关系不致崩裂，便可以不惜用干涉内政与武力介入的方式维护日本的在华权益。田中应当比任何人都清楚在“满蒙”与南方中国之间有一块混乱区域借以缓冲的重要性。
而蒋介石则不然。他所要求的是借“统一”之机控制全中国。因此，以承认日本在“满蒙”的利益为代价换取日本对他“统一”中国的支持，是他的一贯方针。自在广东率军北伐开始，蒋就不断派人与田中接触，商讨日后中国的势力划分（注：参见高倉彻一《田中义一传》（下），原书房1981年版，第740-741页。）。至青山会谈时，蒋颇为圆滑地言及关于“满蒙”问题，孙中山在一些非正式场合的权宜之说。用森恪的话说，“蒋来日的目的，就是打探日本朝野对国民革命的意见，引导田中内阁的方针承认革命。”（注：《森恪》，第614页。）蒋介石在青山会谈时一再强调箱根密约的内容，自然是想再一次得到田中的确认。
完全可以这样分析：箱根密约虽然确定了双方的行动界限，但因为日本承认了蒋介石继续北伐，即意味着日本暂时放弃了继续干涉中国内政、制造混乱、利用北部中国作为“满蒙”屏障的可能。这就是说，田中用最低的政策目标交换了蒋介石的最高政策目标。对田中内阁而言，这决不是一种成功的外交交涉。所以，田中虽然在箱根密约中作过承诺，但在青山会谈时却改而采取了顾左右而言他的态度。这种变化或许含有对箱根密约的反悔之意，或许出于政友会、军部和森恪的压力，想用一种似是而非的手段改变箱根密约的承诺（注：关于田中态度变化的直接原因还有待于进一步研究。）。后来日本再度出兵济南，制造局部事端，应是这种态度的延伸。
综上所述，可以认为，决定蒋介石在二次北伐中态度的，不是青山会谈，而是箱根密约。箱根密约是蒋1927年访日的真正结果。
（以上内容摘自周颂伦著《1927年蒋介石与田中义一密约述实》，此致谢忱）
蒋介石的游历计划原本还有美国，但是由于国内政局发生重大变化，不得不于11月8日离开日本返国。