逃出的是蔡公时的勤务兵，他在4日上午跑到总司令部来报告。总司令部的几个人就商量着赶快提抗议，宣布日军此种野蛮罪状。蒋介石就叫战地政务委员罗家伦先写个草稿，大家议论修改后，当天发出。这时，忽然来了一架飞机，在总司令部上空投弹，一个就投在总司令部办公室后面的池里，但没有爆炸；另一个炸弹落在宿舍后面的一个四合院的中间，一下死伤19人，其中有官长2人。这架飞机标志不明，很可能是日方的飞机，或是由日人驾驶为张宗昌作战的飞机，因为张宗昌残部还没有这种新设备和驾驶员。
日军在济南的所有暴行，身为总司令的蒋介石都耳闻目睹，却只是阴沉着脸，在房间里来回走动。似乎他所能做的事，只是发布撤兵令，不断派“日本通”去与日本人谈判。5月3日派黄郛、陈韬，4日改派熊式辉，5日换成赵世暄，6日再派王正廷、崔世杰，期冀其中能有一个为日本人赏识的外交使者，进而达成某种妥协。可日本人按自己的方针办，根本不领蒋介石的情。这些“日本通”皆遭日本人耍笑，先后碰壁而归。
到了晚上，蒋介石在一个大厅里和前敌总司令朱培德、总参谋长杨杰、高参熊式辉，重新部署军事，定下退出济南，北伐军兵分五路渡过黄河的计划。在这个大房间里，军用地图钉满壁上，又铺满地上，由熊高参拿了各种颜色的粉笔和一大块橡皮，脱了皮鞋在地板上的地图间行走，拟定各路渡河后进兵的路线。每次画到一条线之后，在场的人从各角度加以考虑，然后更改或修正，如此弄到深夜。蒋介石要罗家伦拟一个给英美两国在济南总领事的函件，通告他们北伐军要退出济南，仅留少数维持治安部队，使济南成为一座不设防城市，此后一切外侨生命财产之安全，应由日本负完全责任。罗家伦问：“我们就这样退出济南城吗？”
蒋介石望着地上的地图：“等我把军事摆开以后，再同他们说话！”
在日本，日参谋总长于4日上午10时10分，向第六师团下达了电令：“对中国军队的停战，必须以显扬国军威信和根绝祸因为条件。”根据参谋本部的命令，第六师团长福田彦助于当日中午12时11分，向参谋总长汇报了第六师团的进军意图：“3日晚，两军代表会晤，取得暂时解决，但目前南方中国军（即北伐部队）在济南附近驻扎者至少有四万人，态度逐渐对我怀有恶意……我们确信，目前正是日本对南方（军）进行断然惩处，以进一步解决中国问题之良机。”
已经在日本游说的张群，接到蒋介石的命令，在日本的决策人物中间进行乞和活动。张群在上一年里，曾陪访日的蒋介石去见田中义一首相，已经从田中那时的态度觉察到日本是反对北伐的。但北伐必须经过济南。有过日本第一次出兵山东之举，所以蒋介石非常担心发生冲突。所以在济南事件发生前，国民革命军曾通过日本友人要求日军由济南移驻青岛，此项军费由蒋方全部负担。因为张宗昌的部队已向北撤走，只要日军不在那里驻扎，则无须流一滴血，可日军拒绝了这个提议。张群被蒋介石派到东京后几个小时，济南事件就发生了。5月4日，张群往访日参谋本部第二部部长松井石根中将、外务省次官出渊胜次和军部伊藤安之助少将等。结果，乞和未成，日军方依然叫嚣以战争手段摧毁北伐军；次日，张群径访田中义一首相，要求日本政府不要再扩大事态，希望通过外交途径，经和平方式解决济案。但田中拒不接受，且日本政府已于张群往访田中的当天，决定增兵山东了。
在济南，到了4日下午，日军司令的态度忽然转变，福田派了一个高级参谋来到蒋介石的司令部，又鞠起了躬：“昨天的事情，是部下冲突，发生了误会，只要你蒋总司令不误会，我们以后一定不再扩大冲突，一定可以设法调解。福田司令官对革命是很好的，而且很愿意帮助中国革命军……”
蒋介石起身让座：“双方部下冲突，不算一回事……不使冲突扩大，我当然十分赞成。今天只看你们日军士兵是不是再放枪炮、掷炸弹了，我愿以此来衡量你们日本军有否诚意。”
“那当然不能再放枪炮了。”日军参谋走时做了保证。
可是就在这天夜里，济南城外从西关到北关一带，又响起了日本人的枪炮和炸弹声。蒋介石气得擂桌子，开始怀疑日军是缓兵之计：一旦从日本本土调来增援部队，想必就会一鼓作气挑起决战。于是，蒋介石于当晚下令在城外的大部分军队渡过黄河北撤，以避免和日军发生大规模冲突。可是日军仍不理会，于5日下午开始了更大规模的进攻，飞机大炮轮番轰击，使已经和正在渡河的部队死伤无数。晚上，日军飞机轰炸济南城，“能忍”的蒋介石再也忍不住了，外衣也来不及穿，就被侍卫搬上了马背，与黄郛等一口气逃到党家庄车站，同时命令蒋军从济南撤退到徐州、兖州、泰安，他的总司令部也迁到党家庄。
临出发前，黄郛向日本田中外相发了一份抗议照会：
田中外务大臣勋鉴：
贵国出兵山东，不仅侵我领土主权，业经本国民政府二次抗议在案，并声明如不幸引起误会，贵国当负其责等语。不意5月3日上午，在济日兵，无理起衅，对我驻军及民众，肆意射击。当由国民革命军总司令，严令我军离开贵军所驻区域附近，并命高级军官，自往日军司令部，妥商防制冲突办法，乃亦遭侮辱，得无效果。日军并以机关枪扫射，又屡屡开炮轰击民房，派队侵入交涉公署。对山东特派交涉员蔡公时割去耳鼻，与在署职员十余人，一同枪杀。本部长临时办公处，亦遭有组织的射击及搜索。中国兵士人民死者，不计其数。并侵入我军驻地，勒令缴械。我军容忍，不与抵抗。3日晚11时，当我军高级军官与贵国黑田参谋长，商议善后办法之时，日军竟放大炮五次，并派兵毁我无线电台。4日，日军所占区附近，已无一华兵，尤复不断射击。迄今交通阻隔，全城辍业，不特蹂躏中国主权，并为人道所不容。今特再向贵国政府提出严重抗议，请立即电令在济日军先行停止枪炮轰击之暴行，并立即撤退蹂躏公法破坏条约之驻兵。先决问题，概由正当手续解决。国民政府并声明保留所有应当提出要求。想贵国政府必不愿对中国全民族有不堪忍受之敌对行为，且与世界人道正义为敌对也。特此严重抗议。谨希急复。须至照会者。国民政府外交部长黄郛发于济南。
蒋介石也致函福田：“自本月3日之不幸事件发生，本总司令以和平为重，严令所属撤离贵军所占区域。现在各军已一律离济，继续北伐，仅于城内留少数部队，藉维秩序。本总司令亦于本日出发，特通知贵师团长查照，并盼严令贵军立即停止两日以来之一切特殊行动，俾得维持两国固有之睦谊，不胜企盼之至。”
日本的复电没有到来，炮弹却倾泻而来……
第二集团军总司令冯玉祥，听说蒋介石已占领济南，便带领随从，从郑州登车赴济。到了兖州车站，只见铁路两旁走着许多北伐军队，推车挑担，低头丧气地纷纷向南走去，不禁怀疑和紧张起来。冯部随从你言我语，互相猜测说：“济南不是打下了么？兵士们为什么不接着北上，反而南退呢？”
冯玉祥也很纳闷，一到泰安站，他就命令停车，叫随从人员去查询究竟。有许多操广东方言的士兵回答说：“日本鬼子在济南反了，把外交处长蔡公时也杀死了，我们奉命南退啦。”
同车的人一听，都怔住了。冯玉祥更像是闻到一声闷雷，顿足骂起日本人。他命专车急速向北开进。一到万德车站，即接到蒋介石的急电：“请冯总司令莫进济南，我已在党家庄车站等候，希在党家庄车站下车。”于是列车就向党家庄进发。
到达党家庄车站时，蒋介石早已在那里等候。
随即在蒋介石的专车上，召开了一个紧急会议，即“党家庄会议”。参加这次会议的，除蒋、冯外，还有黄郛。冯玉祥方面的随员只有陇海铁路局管运输的崔士杰和督办王正廷，都是帮助第二集团军办事的。
开会的时候，蒋介石已不像前些日子那样威武———冯玉祥打电报问他对日外交有何准备时，蒋复电说“我国外交已有办法，可勿多虑”，俨然是空城计中诸葛亮在城楼上对老军说的“天下事用不着尔等操心”的口吻。此时蒋介石精神恍惚，意志消沉，时而搔首，时而沉思。而黄郛则大谈其太极拳的修炼功夫，好像他得到了以柔克刚、借力打人的方法。冯玉祥的随员一听这个，就把脸扭向一边，耻笑他这是以太极拳来掩饰其对日外交的失败。
会议开始了，蒋介石先谈了一下目前国内外形势，接着谈他的策略。他还想用以夷制夷的政策，对于自己为何不抵抗，并未说出个所以然来。对于日寇在济南惨无人道的暴行，只轻描淡写了几句。
会议气氛相当沉闷，大家都低着头，沉默不语。冯玉祥不耐烦了，扬起脸问蒋介石：“总司令对济南的日寇想如何对付？部队为什么南撤呢？”
一声责问，使空气顿时紧张起来。蒋介石沉思片刻，断断续续地说：“部队南撤是有计划的，日军如果再向南进攻，我准备在泰安以南同他打。”
他一说完，车厢里又同枯井一般，静得可怕。
王正廷突然冒出一句：“日寇南进，我们便打，如日寇不南进而占据北方，我们怎么办呢？”
蒋介石瞠目结舌。因为他的本意是避免与日军冲突，绕道北伐，而放弃胶济。他本来对冯玉祥夸耀过对日外交有办法，现在就只好频看黄郛，黄郛则低头不语，对着鞋尖呆望。
王正廷见无人说话，就自己解自己的题：“我的看法还是要继续北伐，先彻底消灭日本傀儡的二张残余，占领北京，根绝日本以后侵略的凭借；对日交涉则宜交由中央政府循外交途径徐谋解决。”
蒋介石连声称是。
晚上，他们搬进一所清真寺小憩。寺庙挺高大，平时也很少有人光顾，四处很洁净。一进寺，冯玉祥又问起济南的事。蒋介石、黄郛你一句我一句讲了一遍，讲到蔡公时被凌迟而死，不胜唏嘘。黄郛直摇头：“幸亏我和总司令防范周密，不然亦难免受险。日本军阀的兽性，可谓发挥无余！”
蒋介石问冯玉祥还有什么意见，冯玉祥说：“对于这事，各人有各人的身份立场。以我一个革命军人的身份立场说，我主张不顾一切，拼命和日本鬼子干一干，马上给他一个反击，先把济南日兵消灭，让他认识认识中国的革命力量，不是可以随便欺侮的！我这是说的一个革命军人的本色话，至于为免军事冲突，从外交方面与他交涉的办法，也许较为稳妥；但这应该是谋士或外交家的主张，我不应该提出来说。”
黄郛还在低头叹气：“从实际着想，我们现在是不是有这个力量对日本开战呢？这是要考虑的。”
蒋介石也是这个担心，甚至提出与奉张集团划江而治，放弃北伐。冯玉祥坚决反对。商议的结果，决定还是从外交方面着手。最好能去济南看看，如有可能，便与日军交涉，能使日本退兵更好。派谁去呢？大家又都看着黄郛，因为他仍是现任外交部长。黄郛却一言不发。
冯玉祥此时就不再同蒋介石商量，很负气地把他的参谋处长曹浩森叫来，命令他办一个委任令，说：“第二集团军对日外交事宜交崔士杰负责办理。”
蒋介石还在拿眼睃黄郛，黄郛仍没有表示。蒋介石就顺水推舟：“第一集团军的对日外交也交由崔士杰办理，委任先以军令代之，正式委任令，容后请政府颁发。”
最后决定让崔士杰接替蔡公时的职务，任山东省外交特派员，去济南城与日军交涉。蒋介石暂回南京去主持一切；军事方面交由冯玉祥指挥，撇开济南的路线，继续北伐。
这天夜里，蒋、冯、黄三人同在车站旁露宿。他们躺在地上，仰面看着天空，夜空蓝如静海，上面缀满闪闪的繁星。三个人谈了一会儿应付日寇的办法，又讨论一会儿北伐的战略，直至深夜。三个人虽各怀心思，却都不免悲愤填膺，久久不得入梦。蒋介石有一点庆幸的是：他曾派他的参谋陈韬去找日本人谈判，5月5日夜间给日军关在司令部里。到了6日10点钟，陈韬还被关在那里，他隔壁正好是福田的办公室。他听到福田一得到蒋介石已经出城的消息，就连连说糟了，并同他的参谋长说：“以后事情很难办了！”陈韬被放回来跟蒋介石一说，蒋介石就阿Q似的庆幸：“我既已出城，他们这个迫为城下之盟的阴谋，就完全被打破了！”