蒋介石与黄郛可说是莫逆之交。早在辛亥年间，陈其美、黄郛、蒋介石在上海打铁浜互换兰谱，相约“安危他日终须仗，甘苦来时要共尝”。蒋介石还将此誓言刻于两柄宝剑上，分送二位盟兄。此后三人命运多舛，誓言未改，只是相互依仗的内容大不相同。就蒋氏而言，他仗着陈其美的诱掖扶持，接近并步入孙中山的资产阶级革命领导核心，得以共享早年革命历史的荣耀；而黄郛则是累建功绩而所尝多是罪责和耻辱。
1928年年初，下野后又重新上台的蒋介石急欲完全“统一”，举兵二次北伐。因深感外交棘手，请出黄郛担任外交部长，专门去做争取各帝国主义谅解、支持的“转圜”工作。以后的十几年间，黄郛几次承担对日的外交使命。因他早年留学期间，曾结交了不少日本的政、军界人士，尤其与元老派的关系较为密切。自日本提出“二十一条”后，他便注意少与军界来往。随着所谓“温和”的“币原外交”被强硬的“田中外交”所代替，他的外交活动也更难施展。
黄郛此番出任国民政府的外交部长，虽为时甚短，但其政治形象却大大改观，昔日对资产阶级曾有所贡献的特立独行之士，成了赫赫有名的“亲日派”。究其原因有二：从“公”的角度说，他为推行国民党统治集团的外交政策———取得帝国主义的承认，完成由革命的反帝外交向争取帝国主义支持的外交方针的转变———而不遗余力；从“私”的方面说，在涉及有损国格和名誉的外交事务上，他不仅要为蒋三弟出面，而且还要代之受过。此次“济南惨案”就是这样。
蒋介石害怕与日军冲突会使北伐大业中断，决定不抵抗，命令军队大部撤出济南，取缔一切反日活动，同时连续派代表请求日方停战议和。
蒋介石怕自己的妥协退让遭别人攻讦，在1928年5月10日致电黄郛，要他转告日本福田：“不妨碍我军北伐，则对于反日运动，中正可以极严厉手段阻止之……中正为增进睦谊计，亦可以向日军道歉表示真诚也。”可第二天就觉太有损于自己，连忙再电黄郛：“黄外交部长：前上一电，既请托矢田或汝耕转达之意，最好以兄之名义电告，可代表弟办到多少程度，不必用弟名义，如何，请酌！总之速了为宜也。中正灰未。”
黄郛有苦难言，但还是给与日方直接办交涉的殷汝耕去电，力争为蒋氏解脱困境。
当日本军队和北伐军队开始冲突之时，日军首先就把济南的外事机构交涉署包围起来。这是因为日本人与张宗昌订有不能公开的密件藏在交涉署，他们怕北伐军得到这些文件并公之于世。张宗昌与日军的密约，是在二次北伐刚刚开始之际，由张方参谋长金寿良前往青岛和日本驻军签订的。其内容是以日军驱逐国民革命军于山东境内为条件，而将青岛和胶济铁路权益让给日本。
黄郛听到窗外士兵的跑步和鸣枪声，马上心神不安了。他看了看表，扶着楼梯走到门口，一个日军排长正好跨进来，指着他大声叫嚷：“你是什么人？不许随便走动！”
虽然黄郛的自尊心受到很大打击，但他还是心平气和地掏出外交官衔片：“我是中国外交部长黄郛，你们不可这样无礼，我要你去告诉你们的司令官，中国外交部长在交涉署，你们不能派兵到此，对我这样横加侮辱。”
日军排长在挤眼的同时又咧开嘴角，满脸狰狞：“你是外交部长？”
“是的，你可以去问你们的福田司令官。他认识我，我的日本友人很多。”黄郛用日语说道。
日军排长不理，先将黄郛卫队缴械，随之又率士兵武装闯入黄郛临时办公室，抢掠外交文件和私人财物。日军排长去了一会儿便回来了，神色有些诡异，换了一副嘴脸，打了个立正，说福田司令官要请黄部长去谈话。黄郛便跟着去了。进了日军司令部，黄郛催问了几回，既不见福田司令官出面，也不见有什么副官、参谋之类的接待，还是那个排长，又添了几个士兵，围住黄郛，拿了一张纸和一管笔，要黄郛在上面签字。黄郛接过来一看，头皮发紧。文件上赫然写着：“今天中国革命军与日本军队冲突，是中国革命军来抢日本的东西，来打日本人，所以冲突起来的。”
黄郛把纸和笔推开去：“我不能签。”
日本兵在一边喘着粗气，嘴里骂骂咧咧。黄郛克制住心中的厌恶转过身来，抓起桌上的电话机，给蒋介石打电话，请派车到日军司令部来接他。但日军没有得到他的签字，僵持了一个多小时也不肯放他。有一个日军班长掏出手枪，“啪”地摆在桌上，满脸杀气地威胁道：“除非你不要命，要命就要签字！”
黄郛已经无心反唇相讥了，他的喃喃声在小屋里嗡嗡回响着：“我是中国的外交部长，你不得这样无理。”
日军班长跺起脚，布满血丝的眼睛里充满仇恨的凶光：“晓得你是什么东西！外交部长？我会管这么多？”
当时，正好有一个曾为国民革命军在济南地区收集情报的日本人在场，他和黄郛认识，也对这样的情景看不过去，就小声责备那个班长不要太不礼貌，那个班长马上对着他狂吠：“你小子不是日本人？如果你是日本人，为什么倒帮助中国人？你知道今天是什么日子？今天是我们日本人与中国人开战的日子，少说废话！”
黄郛气得嘴巴咧到一边：“即令你杀了我，我也不能签字的。”
日本兵无奈，凶狠地叫喊了几声，坐在桌边的另一张椅子上，双方继续僵持着。
在此之前，黄郛在外交部交涉署为调查实情、调停冲突，曾经派遣中国人和日本人各一人为一组的调查员，到街上去调查情况，希望能得到客观的判断。这两个人也刚好到了日军司令部。其中之一的日本调查员，一进门就如获至宝地叫嚷：“刚才看见一个日本兵被中国兵杀死，你们中国人也看见的。”说着就把中国调查员拉过来，叫他当场写一个报告。中国调查员是个唯唯诺诺的人，既无心计也无骨气，支吾了半天就写起了报告。日本兵接过报告，就强迫黄郛在上面签字，并说：“你不能不签字，你自己派遣的中国调查员也看见的。”
黄郛拿着报告半天不说话，看看窗外，天色已近黎明，哀叹一声，在报告上慢慢批了一个“阅”字。日本兵拿过报告，紧绷的脸顿时松弛下来，示意黄郛可以走了。黄郛走出日军司令部，看看表，已经是4日凌晨5时。自事件发生以来，他被扣留在这里已经18个小时之久。
黄郛竟遭此侮辱，自己都觉于情于理难容，于是在这次事件之后，便辞卸了外交部长职务，由王正廷继任。蒋对此事的解释是：“膺白（黄郛号）外交办失败了，一帮老先生均不满意。”黄当即遵嘱辞职，携妻女一同到莫干山隐居。在莫干山期间，黄郛曾向好友张群略吐衷曲。他在给张群的信中说：“济案所受刺激，公私两项皆为生平未有之伤心事……实令我没齿不能忘。”
其实受尽凌辱而又始终不肯屈服的不是黄郛，而是外交特派员蔡公时。
蔡公时同黄郛一样，都是日本留学，两个人都能说一口流利的日语，和日本人常有往来。所以蒋介石第二次北伐出师以前任命黄为外交部长，蔡为战地政委会外交部主任、山东特派交涉员。
蔡公时是2日晚上9时到达济南车站，并于3日上午10点到交涉公署开始办公的。12时许，听到外面枪炮声大作，随行人员颇显惊慌。蔡公时安慰大家：“此乃日兵示威，不要紧，请大家安心办事。”他自己则给日本领事馆打电话，对日军的非法行为提出质问，可交涉署的电话很快被日军切断了。蔡公时意识到问题严重，急作三函，一封给十王殿战地委员会张斡夫秘书转呈蒋总司令；一封给外交部长黄郛；还有一封给战地委员会主席。但他派出的外交信使，因日军的武装阻拦，上述公函一封也没有转递。下午3时许，人们吃过一点便餐后，前交涉署的旧职员就告辞回家。蔡公时把他们送到大门口，请他们明日8时到署照常办公。此时外面枪炮不绝于耳，到了晚上9时，枪声更密。蔡公时命部下各人归寝。10时半，外面忽有人叫门，传达处的人来告蔡公时，说有武装的日本兵在叫门，从门缝里看他们，其势汹汹，似寻事模样。蔡公时严令他们坚守门户，切勿放入。外面的日本兵叫不开门，就用枪托敲破墙头，二十多人一拥而入，一手持枪，一手用手电乱照，随即破窗入室。
当双方士兵冲突之初，有两个日本兵在交涉署门前中流弹身亡，日军就以此为由闯进交涉署，声称两个日本兵是由交涉署发射的枪弹所打死，要搜查枪械。蔡公时阻止他们：“我们是外交官，不带武器，没有搜查的必要。本人是交涉员，此事可由贵国领事馆约晤洽商。”
日本兵毫不理睬，声嘶力竭地喊着：“你不配讲这些，不必多说，有枪械快拿出来！”
其余职员不知蔡公时与日本人谈的什么，蔡公时就把刚才的对话译给他们听。日兵不由分说，将蔡公时等从床上拖下，强行脱下上衣，有的连裤子也被脱去，随即用枪刺、枪托乱打，然后用绳子将四人捆在一起，集中在一个房间里。
日军的指挥军官坐在中间，命令蔡公时跪下。蔡公时的双臂被反绑在背后，动弹不得，拼命大喊：“你就是杀了我，我也不能跪在侵略者的日本军阀面前。”在中国，自古以来，只有上跪天子，下跪父母，被人当面强迫跪下，无疑是最大的屈服与耻辱。
“你是说不愿跪下？还有你更好看的哩！”日本兵边说边将蔡公时旁边的职员张庶务拖出来，残酷地割去耳鼻，问蔡公时：“怎么样？”
蔡公时泪流不止，说：“大家没法，赴死可也。”
张庶务满脸是血，悲愤万状，破口大骂日本人。日本人朝他开了一枪。接着又同样地杀死了另一个中国人，再问：“现在怎么样？会跪下了吧？”
蔡公时仍然拒绝。15名外交官已被依次杀害，蔡公时还是站在那里。日本兵就上来死死地按他的背部，割他的鼻子，伤他的耳朵，又用枪托将他的腿骨打断，倒在地下。他挣扎着，大骂日本军阀，并高呼：“此种国耻何时可雪？”日本兵就撬开他的嘴，割去了他的舌头，最后对着他的胸口射了一排子弹。当时有一人倒在地上时，从日本兵的手电中得见诸人之形状，大半有耳无鼻，有鼻无耳，血肉模糊，日本兵手中拿着从枪上卸下的刺刀，还在到处乱刺，口中皆“咻咻”如鬼叫。倒在地上的那人手正好触到一把剪刀，让旁边的人将绳子剪开，三四个还活的人一齐往外跑，又被日本兵扫倒，只有一人侥幸越墙逃出。