前边说过，在京城当官的时候，端老四是个维新派。虽说没有如康有为、梁启超一样混进维新派核心层，仍称得上外围组织的成员。对光绪变法失败有重要作用的杨崇伊与端方后来的命运息息相关，谈端方不能不谈他。
杨崇伊，字莘伯，江苏常熟人，与清末大老翁同龢有乡谊，但是政治主张却大不相同。杨崇伊是有名的守旧派御史，看见不入法眼的人，就要给朝廷上奏折弹劾。被他举报的官员有一大串，其中比较著名的有文廷式，是翁帝师眼皮底下的大红人，而且内有珍妃做奥援，等于光绪皇帝的大半个屁股坐到他那边了。这个五品官衔的杨崇伊硬是通过几封检举揭发信把二品大员文廷式扳倒了，不得不让人刮目相看。
戊戌变法巅峰时期，已经退位的日本改革派领袖伊藤博文来华访问，通过户部侍郎张荫桓的安排，光绪皇帝准备接见他，据说光绪还有聘请伊藤担任政治顾问的打算。杨崇伊得知了这个消息，连夜乘火车赶到天津，向北洋大臣荣禄举报。因事涉皇帝，荣禄不敢轻易表态，给杨崇伊出了个主意，叫他走庆亲王奕劻的门路，直接将情报捅给慈禧太后。
杨崇伊屁颠屁颠回京，向奕劻直接说明来意，奕劻听了面有难色，摇头说道：“这个折子我不能代转。”杨崇伊话中有话地说：“此折荣禄王爷已看过，他深表赞同，在这种大事大非的事情上，相信庆亲王不会糊涂，如果日后闹出了什么大乱子，王爷不能推诿说不知道啊。”奕劻沉吟片刻，这才答应带杨崇伊去见太后。到了颐和园，太后正在园子里散步，听说有人上奏折，嘀咕了一声：“闲着也是闲着，拿来看看吧。”拿到手上一看，顿时大惊失色，立马召集众大臣开紧急会议，戊戌政变正式启动。
戊戌政变后，杨崇伊自以为举报有功，等待朝廷论功行赏，期盼良久，也没有等到音讯。不仅如此，连原先和他关系还不错的荣禄也渐渐和他断了往来，于是落寞之感油然而生。此时正好遇到他母亲病故，要回籍丁忧守制，遂告别京城回到了江南。
有意思的是，杨崇伊的老家明明在常熟，他却寓居到了省城苏州，这里头有个难与人言的秘密。前几年遭贬回籍的帝师翁同龢也是常熟人，因政见不同，二人在京城政坛形同水火，倘若杨崇伊也回常熟原籍，势必碰面，难免尴尬。即使不碰面，相互间听到对方的消息，也会如芒刺在身，何苦来哉？
苏州是江南著名的鱼米之乡，小桥流水，风光如画。杨崇伊寓居苏州，并没有安心为亡母守制，而是四处活动联络，天天往社交圈子里跑，诸如能捞钱的江南漕运、苏商会馆以及勾栏瓦肆、烟馆妓院，都成了杨御史经常出没的地方。
有一天，杨御史和几个朋友从虎丘游玩回家，遇到在元和县开妓馆的本家兄弟王阿松，赶紧让进厢房，吩咐仆妇倒茶。王阿松坐下后皱眉说，最近心情有点烦。杨崇伊问其缘故，王阿松叹气说：“如今生意不好做啊，妓馆里前不久新进了两个雏妓，好不容易找好顾主，准备梳栊开苞，不料东窗事发，有人到县衙门告了一状，知县吴熙派人将两个雏妓抓去讯问后，定下两条罪状：一是雏妓无照营业，扰乱妓业秩序，且影响本县花捐税收：二是妓馆老板虐待妓女，有雏妓大腿上被烫伤的疤痕为证。”
听王阿松讲完情况，轮到杨崇伊皱眉头了：“本家兄弟啊，不是我说你，你怎么能做出这般难堪的事呢。”王阿松心想，不是难事也不会来求你了，嘴里却说：“想来想去，这件事只能仰仗杨御史出面，人家才会给面子。”王阿松说，事成之后愿以二千两银子酬谢。杨崇伊御史出身，弹劾大官已成习惯，养成了一副天下事大包大揽的派头，何况还有白花花的二千两银子，当即答应下来。
王阿松走后，杨崇伊开动脑筋。丁忧守制，丧服在身，此事他也不便出面，须得找个替手帮忙。杨崇伊找的替手叫吴韶生，此人苏州世家出身，是嘉庆状元吴延琛的孙子，本人虽只做过一任县学训导，但他的胞兄吴郁生却是京城翰林，任内阁学士。让这个人去当说客，元和知县吴熙必定会买账。
为了说服吴韶生，杨崇伊现编了个爱情故事：有两个寒士，与妓馆中的佳人情投意合，私订鸳梦，正在寒士将要为她们赎身之际，佳人被县衙门抓走了，两个寒士心急如焚。吴韶生本是书生，听完这个故事，恻隐之心大发，当即给元和知县吴熙写了一封信，一番问候之后便直奔主题，说那两个雏妓原是他家的使女，请求吴知县高抬贵手，大事化小，小事化了。
按惯例，像这样的案子，对妓女训导几句之后，一般都要交还家属。吴知县见有人说情，正好乐得做个顺水人情，次日便将两个雏妓放了。
杨崇伊得知放人的信息后，指派心腹家丁去取银票，王阿松一脸茫然，问道：“人呢？”家丁反问：“人不是放了吗？”这才发现情况不那么简单，人是放了，却放回了吴韶生家，王阿松只好再走一趟，去吴韶生家取人。
吴韶生接回两个雏妓后，发现事情并不像杨崇伊说的那样，并没有什么寒士在等佳人。正在屋子里生闷气，听说王阿松前来取人，又听说是妓馆老鸨，吴韶生气便不打一处来。家里此时也闹成了一锅粥，两个雏妓双双跪在吴老太太面前，泣不成声，宁愿在吴家当粗使丫头，也不肯再回妓馆那个火坑。吴韶生不用多想，毫不犹豫地回绝了王阿松的放人要求，王阿松还想纠缠，被吴家的一帮仆人连推带搡赶出了大门。
杨崇伊没想到是这样的结果，对吴韶生满肚子怨气，言而无信，让他一张老脸往哪儿搁？这天晚上十点多钟，杨崇伊坐一顶素轿，轿子里放一管洋枪，乘着月光直奔吴府而来。到了吴府，乒乒乓乓一阵擂门，吴家仆役凑在门缝上一看，见为首的杨老爷提一管洋枪，满脸怒色，赶紧去禀报自家主人。吴韶生听说有枪，吓得不敢露面，只见杨御史挥挥手，说了一声“搜”，他带来的一帮打手一拥而上，毫不费事找出了两名雏妓。杨崇伊大获全胜，看着打手们将两名雏妓连拖带拽出了吴府，这才步行押队，亲自断后，连轿子也顾不得坐。
没等他去找王阿松，王阿松主动上门来了，却不与杨崇伊见面，而是交给门仆二百大洋，酬谢“杨老爷费心费力”。杨崇伊接过银子追问：“他人呢？”门仆回答：“早已走远，他叫我给老爷捎话说人不要了。”杨崇伊将手中银子使劲一摔“真是混账王八蛋！”
其实王阿松的做法也不难理解，他开妓馆毕竟是贱业，不得不考虑公众舆论，如今这事儿在社会上传得沸沸扬扬，他必须有所顾忌。如果将事情闹到官府，就不再是两个雏妓的问题，而是关系到妓馆还能否办得下去，甚至还可能有牢狱之灾。两害相权取其轻，他只好抽身而退。
对于杨御史而言，不仅损失了两千两银子，而且将两个雏妓放在家里，究竟算个什么事呢。思前想后，越想越觉得窝囊，追溯事情的起因，都是因为吴韶生不肯将人交给王阿松，才导致眼下乱糟糟的局面。杨崇伊多年来养成了大老爷的霸道脾气，这口气无论如何也咽不下，遂叫了苏州街头一群地痞流氓，提着洋枪再次来到吴韶生府上，见人就打，见物就砸，一场打砸抢正进行到高潮，忽听有人喊：“吴大老爷来了！”
来人是元和县知县吴熙，接到报警后匆匆乘轿而来。勘验现场只是走过场，有被打伤的人为证，还有被砸坏的桌椅为证，有理无理是明摆着的事。杨御史偏偏还要辩解，说吴家养了一群恶奴，对他围攻殴打，欺人太甚。知县吴熙也是个有个性的角色，停下步子问道：“是这群恶奴把杨老爷拖到吴府来的？”只一句就将杨崇伊问噎住了。
由于吴家“恶奴”防卫过当，杨崇伊身上被打青了几块，窝着一肚子火，现在只能悻悻而退。倒霉的事还在后头，半个月后，杨崇伊收到一张传票，告状的人明里是吴韶生，幕后指使其实是知县吴熙。
杨崇伊是京城御史，在告与不告之间，吴熙也曾犹疑，正在踌躇之间，收到藩司（副省长）衙门送来的一纸公文，拆开一看，只见上面写道：“本司访闻本月十六、十七两日，有丁忧在籍的江浙候补道杨崇伊，持枪率众，夜入三品封职前江宁县学训导吴韶生家逞凶情事，该县谅有所闻，应即查报。”话中的意思很清楚，就无须踌躇了。吴熙赶紧准备材料，提取原始口供笔录，要将这桩案子办成铁案。
时任江苏藩司的是瑞澂，此人是鸦片战争时期大名人琦善的孙子，爷爷被世人唾骂了几十年，到他这里忽然再度发迹，原因是娶了镇国公载泽的胞姐为妻，官场上有了大靠山，从此青云直上，官运亨通。瑞澂与杨崇伊无冤无仇，原本也不想插手，只因他上头有个两江总督端方，听说杨御史闹出了这么一桩丑事，非要治他的罪不可。瑞澂能力一般，但是官场上的规矩他还是懂的，下级服从上级，上头决定了的事，认真照办就是了。
端方的幕僚早已替瑞澂将奏折写好了：“本司查杨绅崇伊，身为道员，又当守制，乃于登堂妓女，插身干预，复敢两次寻衅，带领家丁，夤夜持枪滋事，实属目无法纪，不顾名誉。且在省会之地，竟敢如此肆恶，是其在常熟原籍，遇事生风，乡人侧目，人言亦属可信。虽吴绅韶生年老畏事，不愿深求，本司查得既详，未敢玩法容隐，专案详情奏参。”下面详述了事情经过，将杨崇伊好好鄙薄了一番：“该道杨崇伊声名本劣，此次横行不法，竟与地痞流氓无异……不惟滋害乡里，且贻羞朝廷，此而不惩，必将日益凶横，无恶不作。”最后提出处理意见：“相应请旨，将丁忧在籍前浙江候补道杨崇伊，即行革职，永不叙用，不准逗留省城，交常熟地方官严加管束。如再不收敛，及干预地方一切事务，即按所犯劣迹，从严究办，以惩凶悍，而保治安。”
杨崇伊栽了这么个大跟头，从此在晚清政坛上偃息旗鼓，政治生命基本完结。但是百足之虫，死而不僵，他和端老四因此结下了梁子，一旦有机会，就会疯狂报复。