当时，正好有一个曾为国民革命军在济南地区收集情报的日本人在场，他和黄郛认识，也对这样的情景看不过去，就小声责备那个班长不要太不礼貌，那个班长马上对着他狂吠：“你小子不是日本人？如果你是日本人，为什么倒帮助中国人？
你知道今天是什么日子？今天是我们日本人与中国人开战的日子，少说废话！”
黄郛气得嘴巴咧到一边：“即令你杀了我，我也不能签字的。”
日本兵无奈，凶狠地叫喊了几声，坐在桌边的另一张椅子上，双方继续僵持着。
在此之前，黄郛在外交部交涉署为调查实情、调停冲突，曾经派遣中国人和日本人各一人为一组的调查员，到街上去调查情况，希望能得到客观的判断。这两个人也刚好到了日军司令部。其中之一的日本调查员，一进门就如获至宝地叫嚷：
“刚才看见一个日本兵被中国兵杀死，你们中国人也看见的。”说着就把中国调查员拉过来，叫他当场写一个报告。中国调查员是个唯唯诺诺的人，既无心计也无骨气，支吾了半天就写起了报告。日本兵接过报告，就强迫黄郛在上面签字，并说：“你不能不签字，你自己派遣的中国调查员也看见的。”
黄郛拿着报告半天不说话，看看窗外，天色已近黎明，哀叹一声，在报告上慢慢批了一个“阅”字。日本兵拿过报告，紧绷的脸顿时松弛下来，示意黄郛可以走了。黄郛走出日军司令部，看看表，已经是４日凌晨５时。自事件发生以来，他被扣留在这里已经１８个小时之久。
黄郛竟遭此侮辱，自己都觉于情于理难容，于是在这次事件之后，便辞卸了外交部长职务，由王正廷继任。蒋对此事的解释是：“膺白（黄郛号）外交办失败了，一帮老先生均不满意。”黄当即遵嘱辞职，携妻女一同到莫干山隐居。在莫干山期间，黄郛曾向好友张群略吐衷曲。他在给张群的信中说：“济案所受刺激，公私两项皆为生平未有之伤心事……实令我没齿不能忘。”
其实受尽凌辱而又始终不肯屈服的不是黄郛，而是外交特派员蔡公时。
蔡公时同黄郛一样，都是日本留学，两个人都能说一口流利的日语，和日本人常有往来。所以蒋介石第二次北伐出师以前任命黄为外交部长，蔡为战地政委会外交部主任、山东特派交涉员。
蔡公时是２日晚上９时到达济南车站，并于３日上午１０点到交涉公署开始办公的。１２时许，听到外面枪炮声大作，随行人员颇显惊慌。蔡公时安慰大家：“此乃日兵示威，不要紧，请大家安心办事。”他自己则给日本领事馆打电话，对日军的非法行为提出质问，可交涉署的电话很快被日军切断了。蔡公时意识到问题严重，急作三函，一封给十王殿战地委员会张斡夫秘书转呈蒋总司令；一封给外交部长黄郛；还有一封给战地委员会主席。但他派出的外交信使，因日军的武装阻拦，上述公函一封也没有转递。下午３时许，人们吃过一点便餐后，前交涉署的旧职员就告辞回家。蔡公时把他们送到大门口，请他们明日８时到署照常办公。此时外面枪炮不绝于耳，到了晚上９时，枪声更密。蔡公时命部下各人归寝。１０时半，外面忽有人叫门，传达处的人来告蔡公时，说有武装的日本兵在叫门，从门缝里看他们，其势汹汹，似寻事模样。蔡公时严令他们坚守门户，切勿放入。外面的日本兵叫不开门，就用枪托敲破墙头，二十多人一拥而入，一手持枪，一手用手电乱照，随即破窗入室。
当双方士兵冲突之初，有两个日本兵在交涉署门前中流弹身亡，日军就以此为由闯进交涉署，声称两个日本兵是由交涉署发射的枪弹所打死，要搜查枪械。蔡公时阻止他们：“我们是外交官，不带武器，没有搜查的必要。本人是交涉员，此事可由贵国领事馆约晤洽商。”
日本兵毫不理睬，声嘶力竭地喊着：“你不配讲这些，不必多说，有枪械快拿出来！”
其余职员不知蔡公时与日本人谈的什么，蔡公时就把刚才的对话译给他们听。
日兵不由分说，将蔡公时等从床上拖下，强行脱下上衣，有的连裤子也被脱去，随即用枪刺、枪托乱打，然后用绳子将四人捆在一起，集中在一个房间里。
日军的指挥军官坐在中间，命令蔡公时跪下。蔡公时的双臂被反绑在背后，动弹不得，拼命大喊：“你就是杀了我，我也不能跪在侵略者的日本军阀面前。”在中国，自古以来，只有上跪天子，下跪父母，被人当面强迫跪下，无疑是最大的屈服与耻辱。
“你是说不愿跪下？还有你更好看的哩！”日本兵边说边将蔡公时旁边的职员张庶务拖出来，残酷地割去耳鼻，问蔡公时：“怎么样？”
蔡公时泪流不止，说：“大家没法，赴死可也。”
张庶务满脸是血，悲愤万状，破口大骂日本人。日本人朝他开了一枪。接着又同样地杀死了另一个中国人，再问：“现在怎么样？会跪下了吧？”
蔡公时仍然拒绝。１５名外交官已被依次杀害，蔡公时还是站在那里。日本兵就上来死死地按他的背部，割他的鼻子，伤他的耳朵，又用枪托将他的腿骨打断，倒在地下。他挣扎着，大骂日本军阀，并高呼：“此种国耻何时可雪？”日本兵就撬开他的嘴，割去了他的舌头，最后对着他的胸口射了一排子弹。当时有一人倒在地上时，从日本兵的手电中得见诸人之形状，大半有耳无鼻，有鼻无耳，血肉模糊，日本兵手中拿着从枪上卸下的刺刀，还在到处乱刺，口中皆“咻咻”如鬼叫。倒在地上的那人手正好触到一把剪刀，让旁边的人将绳子剪开，三四个还活的人一齐往外跑，又被日本兵扫倒，只有一人侥幸越墙逃出。
蒋介石、冯玉祥露宿郊野，仰面寒星
逃出的是蔡公时的勤务兵，他在４日上午跑到总司令部来报告。总司令部的几个人就商量着赶快提抗议，宣布日军此种野蛮罪状。蒋介石就叫战地政务委员罗家伦先写个草稿，大家议论修改后，当天发出。这时，忽然来了一架飞机，在总司令部上空投弹，一个就投在总司令部办公室后面的池里，但没有爆炸；另一个炸弹落在宿舍后面的一个四合院的中间，一下死伤１９人，其中有官长２人。这架飞机标志不明，很可能是日方的飞机，或是由日人驾驶为张宗昌作战的飞机，因为张宗昌残部还没有这种新设备和驾驶员。
日军在济南的所有暴行，身为总司令的蒋介石都耳闻目睹，却只是阴沉着脸，在房间里来回走动。似乎他所能做的事，只是发布撤兵令，不断派“日本通”去与日本人谈判。５月３日派黄郛、陈韬，４日改派熊式辉，５日换成赵世暄，６日再派王正廷、崔世杰，期冀其中能有一个为日本人赏识的外交使者，进而达成某种妥协。
可日本人按自己的方针办，根本不领蒋介石的情。这些“日本通”皆遭日本人耍笑，先后碰壁而归。
到了晚上，蒋介石在一个大厅里和前敌总司令朱培德、总参谋长杨杰、高参熊式辉，重新部署军事，定下退出济南，北伐军兵分五路渡过黄河的计划。在这个大房间里，军用地图钉满壁上，又铺满地上，由熊高参拿了各种颜色的粉笔和一大块橡皮，脱了皮鞋在地板上的地图间行走，拟定各路渡河后进兵的路线。每次画到一条线之后，在场的人从各角度加以考虑，然后更改或修正，如此弄到深夜。蒋介石要罗家伦拟一个给英美两国在济南总领事的函件，通告他们北伐军要退出济南，仅留少数维持治安部队，使济南成为一座不设防城市，此后一切外侨生命财产之安全，应由日本负完全责任。罗家伦问：“我们就这样退出济南城吗？”
蒋介石望着地上的地图：“等我把军事摆开以后，再同他们说话！”
在日本，日参谋总长于４日上午１０时１０分，向第六师团下达了电令：“对中国军队的停战，必须以显扬国军威信和根绝祸因为条件。”根据参谋本部的命令，第六师团长福田彦助于当日中午１２时１１分，向参谋总长汇报了第六师团的进军意图：
“３日晚，两军代表会晤，取得暂时解决，但目前南方中国军（即北伐部队）在济南附近驻扎者至少有四万人，态度逐渐对我怀有恶意……我们确信，目前正是日本对南方（军）进行断然惩处，以进一步解决中国问题之良机。”
已经在日本游说的张群，接到蒋介石的命令，在日本的决策人物中间进行乞和活动。张群在上一年里，曾陪访日的蒋介石去见田中义一首相，已经从田中那时的态度觉察到日本是反对北伐的。但北伐必须经过济南。有过日本第一次出兵山东之举，所以蒋介石非常担心发生冲突。所以在济南事件发生前，国民革命军曾通过日本友人要求日军由济南移驻青岛，此项军费由蒋方全部负担。因为张宗昌的部队已向北撤走，只要日军不在那里驻扎，则无须流一滴血，可日军拒绝了这个提议。张群被蒋介石派到东京后几个小时，济南事件就发生了。５月４日，张群往访日参谋本部第二部部长松井石根中将、外务省次官出渊胜次和军部伊藤安之助少将等。结果，乞和未成，日军方依然叫嚣以战争手段摧毁北伐军；次日，张群径访田中义一首相，要求日本政府不要再扩大事态，希望通过外交途径，经和平方式解决济案。
但田中拒不接受，且日本政府已于张群往访田中的当天，决定增兵山东了。
在济南，到了４日下午，日军司令的态度忽然转变，福田派了一个高级参谋来到蒋介石的司令部，又鞠起了躬：“昨天的事情，是部下冲突，发生了误会，只要你蒋总司令不误会，我们以后一定不再扩大冲突，一定可以设法调解。福田司令官对革命是很好的，而且很愿意帮助中国革命军……”
蒋介石起身让座：“双方部下冲突，不算一回事……不使冲突扩大，我当然十分赞成。今天只看你们日军士兵是不是再放枪炮、掷炸弹了，我愿以此来衡量你们日本军有否诚意。”
“那当然不能再放枪炮了。”日军参谋走时做了保证。
可是就在这天夜里，济南城外从西关到北关一带，又响起了日本人的枪炮和炸弹声。蒋介石气得擂桌子，开始怀疑日军是缓兵之计：一旦从日本本土调来增援部队，想必就会一鼓作气挑起决战。于是，蒋介石于当晚下令在城外的大部分军队渡过黄河北撤，以避免和日军发生大规模冲突。可是日军仍不理会，于５日下午开始了更大规模的进攻，飞机大炮轮番轰击，使已经和正在渡河的部队死伤无数。晚上，日军飞机轰炸济南城，“能忍”的蒋介石再也忍不住了，外衣也来不及穿，就被侍卫搬上了马背，与黄郛等一口气逃到党家庄车站，同时命令蒋军从济南撤退到徐州、兖州、泰安，他的总司令部也迁到党家庄。
临出发前，黄郛向日本田中外相发了一份抗议照会：
田中外务大臣勋鉴：
贵国出兵山东，不仅侵我领土主权，业经本国民政府二次抗议在案，并声明如不幸引起误会，贵国当负其责等语。不意５月３日上午，在济日兵，无理起衅，对我驻军及民众，肆意射击。当由国民革命军总司令，严令我军离开贵军所驻区域附近，并命高级军官，自往日军司令部，妥商防制冲突办法，乃亦遭侮辱，得无效果。日军并以机关枪扫射，又屡屡开炮轰击民房，派队侵入交涉公署。对山东特派交涉员蔡公时割去耳鼻，与在署职员十余人，一同枪杀。
本部长临时办公处，亦遭有组织的射击及搜索。中国兵士人民死者，不计其数。
并侵入我军驻地，勒令缴械。我军容忍，不与抵抗。３日晚１１时，当我军高级军官与贵国黑田参谋长，商议善后办法之时，日军竟放大炮五次，并派兵毁我无线电台。４日，日军所占区附近，已无一华兵，尤复不断射击。迄今交通阻隔，全城辍业，不特蹂躏中国主权，并为人道所不容。今特再向贵国政府提出严重抗议，请立即电令在济日军先行停止枪炮轰击之暴行，并立即撤退蹂躏公法破坏条约之驻兵。先决问题，概由正当手续解决。国民政府并声明保留所有应当提出要求。想贵国政府必不愿对中国全民族有不堪忍受之敌对行为，且与世界人道正义为敌对也。特此严重抗议。谨希急复。须至照会者。国民政府外交部长黄郛发于济南。
蒋介石也致函福田：“自本月３日之不幸事件发生，本总司令以和平为重，严令所属撤离贵军所占区域。现在各军已一律离济，继续北伐，仅于城内留少数部队，藉维秩序。本总司令亦于本日出发，特通知贵师团长查照，并盼严令贵军立即停止两日以来之一切特殊行动，俾得维持两国固有之睦谊，不胜企盼之至。”
日本的复电没有到来，炮弹却倾泻而来……
第二集团军总司令冯玉祥，听说蒋介石已占领济南，便带领随从，从郑州登车赴济。到了兖州车站，只见铁路两旁走着许多北伐军队，推车挑担，低头丧气地纷纷向南走去，不禁怀疑和紧张起来。冯部随从你言我语，互相猜测说：“济南不是打下了么？兵士们为什么不接着北上，反而南退呢？”
冯玉祥也很纳闷，一到泰安站，他就命令停车，叫随从人员去查询究竟。有许多操广东方言的士兵回答说：“日本鬼子在济南反了，把外交处长蔡公时也杀死了，我们奉命南退啦。”
同车的人一听，都怔住了。冯玉祥更像是闻到一声闷雷，顿足骂起日本人。他命专车急速向北开进。一到万德车站，即接到蒋介石的急电：“请冯总司令莫进济南，我已在党家庄车站等候，希在党家庄车站下车。”于是列车就向党家庄进发。
到达党家庄车站时，蒋介石早已在那里等候。
随即在蒋介石的专车上，召开了一个紧急会议，即“党家庄会议”。参加这次会议的，除蒋、冯外，还有黄郛。冯玉祥方面的随员只有陇海铁路局管运输的崔士杰和督办王正廷，都是帮助第二集团军办事的。
开会的时候，蒋介石已不像前些日子那样威武——冯玉祥打电报问他对日外交有何准备时，蒋复电说“我国外交已有办法，可勿多虑”，俨然是空城计中诸葛亮在城楼上对老军说的“天下事用不着尔等操心”的口吻。此时蒋介石精神恍惚，意志消沉，时而搔首，时而沉思。而黄郛则大谈其太极拳的修炼功夫，好像他得到了以柔克刚、借力打人的方法。冯玉祥的随员一听这个，就把脸扭向一边，耻笑他这是以太极拳来掩饰其对日外交的失败。
会议开始了，蒋介石先谈了一下目前国内外形势，接着谈他的策略。他还想用以夷制夷的政策，对于自己为何不抵抗，并未说出个所以然来。对于日寇在济南惨无人道的暴行，只轻描淡写了几句。
会议气氛相当沉闷，大家都低着头，沉默不语。冯玉祥不耐烦了，扬起脸问蒋介石：“总司令对济南的日寇想如何对付？部队为什么南撤呢？”
一声责问，使空气顿时紧张起来。蒋介石沉思片刻，断断续续地说：“部队南撤是有计划的，日军如果再向南进攻，我准备在泰安以南同他打。”
他一说完，车厢里又同枯井一般，静得可怕。
王正廷突然冒出一句：“日寇南进，我们便打，如日寇不南进而占据北方，我们怎么办呢？”
蒋介石瞠目结舌。因为他的本意是避免与日军冲突，绕道北伐，而放弃胶济。
他本来对冯玉祥夸耀过对日外交有办法，现在就只好频看黄郛，黄郛则低头不语，对着鞋尖呆望。