三个故事，一副药引，开出的配方竟是一剂泄药，最后硬是要了端老四的命。细分析一下，端方的病根在于既想走官运，还想走桃花运，无奈一旦沾上了“女色”二字，官运也就直线下滑。
在端方担任两江总督期间，还有这么几件事，因为和他后来的命运有关，值得一叙。
第一件事，是帮了袁世凯一个大忙，得罪了晚清官场另一个大腕。此腕名为岑春煊，慈禧太后眼皮底下的大红人，为配合老袁扳倒岑春煊，端方让其手下通过新式照相技术将岑春煊和革命党梁启超的相片拼凑成一张照片，慈禧太后看了恼羞成怒，直接导致岑春煊官场失势。
第二件事与那桐有关。端方在两江总督任上，不仅和北洋大臣袁世凯度过了一段政治蜜月期，与南洋大臣张之洞也打得火热。是时南洋新军需要大批军械，端方和张之洞相互援手，换背擦痒，把这桩大肥差当做端、张两家的自留地，苦心经营，成效卓著，搞得两人腰包都胀鼓鼓的。
身在京城的那桐也想从中分一杯羹，先是将端方之子调入外部，补为参事，暗示将此作为交换条件，顺便提出他在上海有个商人朋友，以后可能会少不了添麻烦，请多关照。谁知道端老四故意装糊涂，给那桐发了封电报，除了对那桐安排其子表示感谢外，对代办枪械之事闭口不提。那桐再发电报，直截了当地开口，说上海那个商人朋友想代办南洋军需枪械，请多帮忙。端方回电报说，最近没有添置军需枪械的计划，等以后有了机会，自会多加留意。
就在那桐收到端方的电报后不久，上海的那个商人朋友写信来，言辞间充满愤懑，说他遵嘱前往总督府拜访，一连三次都吃了闭门羹，端总督根本不买那相国的账。信中又说，就在前几天，云贵总督李经羲还托端方采购二百万两的军火，端方另找商人议购，不理他的茬儿。读了这封信，那桐心里的滋味可想而知。
第三件事其实是件小事，但在一些关键时刻，小事也会成为压垮骆驼的最后一根稻草。荣庆与端方是儿时的朋友，两人关系一直不错。在端方任两江总督时，荣庆听说了这位风流公子的一些桃色绯闻，出于好心提醒了几句，端方大不以为然，反过来好一阵奚落，把荣庆说成是落后于时代大潮的老古董，搞得荣庆心里头很不舒服。
第四件事，就是前文提到的杨崇伊江南抢雏妓事件。
宣统元年（1909），端方调署直隶总督，一般人都认为他将要行大运了。岂料福兮祸所倚，就在端老四踌躇满志之时，厄运从天而降。
端老四出洋考察时，从美国带回来一台照相机，爱不释手，不分场合到处显摆。这么一来，摄影爱好者端方又结识了一批艺术圈的新朋友，其中有个尹绍耕，是天津东马路福升照相馆的老板，此人给端老四惹出了一场大祸。
慈禧太后驾崩后，灵柩安于东陵，拟举行“奉安大典”，尹老板很有抢新闻镜头的商业意识，计划将奉安大典全过程拍成系列照片，留下珍贵的历史记忆。端方感觉这个想法很有创意，自然鼎力相助。大典那天，尹老板邀集一帮摄影青年，拉上全部照相器材，沿途抓场景抢镜头，旧时的照相机特好玩，只听“砰”的一声，平地腾起一团白烟，“百官咸集，万目共睹，莫不诧异”，正拍得起劲，几个兵丁持洋枪上来将尹老板等一千摄影青年拘捕入狱。
这是一起荒唐的大冤案。尹绍耕和他的胞弟尹沧田被判处监禁十年，其余几个摄影青年分别被判三年五年不等，负责陵园警卫的直隶戈什哈也跟着倒霉，被判终身监禁。醉翁之意不在酒，对方真正要攻击的目标是端老四，尹绍耕兄弟和戈什哈白白当了牺牲品。
参劾端方的人是李国杰，此人是李鸿章的孙子，清末任农工商部左丞，娶的妻子是杨崇伊的大女儿，即才女作家张爱玲笔下的那个“大奶奶玳珍”。岳父大人在苏州遭端方羞辱，碰到这么好的机会，岂有不报仇雪恨的道理？
李国杰连夜写好奏折参劾端方：陵园砍树破坏了清廷风水，照相更是摄走了皇室的魂灵，且乘坐轿子横冲神路，颐指气使，不可一世。为了把戏演得更逼真，李国杰跪在隆裕太后面前伏地哭述：“刚刚经历了国觞，幼主新立，而疆臣跋扈至此，这个人压根儿就没把太后和幼主放在眼里。”在处理时政大事上，隆裕太后比慈禧太后差远了，听说有人没把她放在眼里，积压已久的怨气像点燃的火苗立马升腾上来，发话“交部严议”，要给端老四一点颜色看看。
朝廷里的几位大臣此时一个也不肯帮端老四说话，荣庆跪在地上连连叩头，嘴里叠声道：“太后圣明！太后圣明！”不发表意见就是赞同，官场上的玄妙之处就在这儿。另一位大臣那桐佯装同情状：“这个端老四，如何糊涂至此，连老祖宗的风水也不放在眼里……”隆裕太后见端方的两位好友是这个态度，处理起来更是毫不手软，一撸到底，将正二品的直隶大臣降成了一介平民。