长孙无忌接话：“皇上说的这个情况也不是说没有，但还远远没有到徇情枉法的地步。就是皇上你在处理政事的时候，也会考虑一些人际关系因素吧。”长孙无忌这话就是在今天听来也是不过时的，中国人关系网、人情网，每个人都是网虫，撕不破扯不断。
以长孙无忌在权力场上摸爬滚打的几十年，不可能看不出高宗皇帝在人事安排上的用意，也不可能听不出来这个外甥的弦外之音。估计他是太没把这个外甥放在心上了，不但毫无收敛之意，而且大有愈演愈烈之势。
永徽三年（公元652年）春天，长孙无忌把同州刺史褚遂良调回朝中，任命为吏部尚书、同中书门下三品，履行宰相职责；接着又任命自己的亲戚、兵部侍郎韩瑗代理黄门侍郎、同中书门下三品，也是实职宰相，这样长孙无忌的势力就更加稳固，连皇帝和李绩都让他三分。还有一位新任宰相柳奭更不敢和这样的权臣叫板，柳奭的表现让长孙无忌还算满意。
柳奭也明白自己之所以能坐到宰相的高位，都是因为自己是皇后的舅舅。皇后的位子稳固，他的位子就稳固，皇后要是失宠，他的官位就不保。
在这之后又发生了一件大事，彻底地暴露了长孙无忌的弄权和骄狂，甚至连高宗也只能眼睁睁地看着长孙无忌将他们的政敌一网打尽，而没有任何办法阻止。闹到最后，处死两名王爷，两名公主，三位驸马，大批皇亲国戚牵连被贬，结案之惨烈，举世皆惊。这就是初唐轰动一时的高阳公主谋反案。
高阳公主是李世民很宠爱娇惯的一个女儿，平日里骄横跋扈，淫恶纵欲，欺凌家人，甚至与和尚私通。她的老公就是贞观朝名相房玄龄的二公子房遗爱，此人因当初与魏王李泰交往过密，高宗上台之后也是属于失势的一派。因此他们常和同样不满现状的皇亲国戚如魏王旧党巴陵公主驸马柴令武，征高丽回朝马上被贬的丹阳公主驸马薛万彻，还有自认为比李治更有资格做皇位的荆王元景等人私下往来，发表一些对朝政不满的牢骚话。
高阳公主还想把大伯子房遗直继承的爵位和家产据为己有，整天告刁状，欺人太甚。房遗直一是因为忍无可忍，二是担心这对无法无天的小夫妻总有一天会捅出什么篓子连累整个房家，索性一不做二不休把房遗爱和高阳公主聚众谋反一事揭发了出来。高阳公主告房遗直谋反不过空口白话，房遗直却拿出了证据，公主不仅骂皇帝，毁朝廷，还派人占星卜筮窥视宫省，看看老天什么时候让高宗皇帝完蛋。
要知道那个时候请巫师占卜星象就是谋反，一般人能随便围绕天象在那里一天到晚瞎捣鼓吗？皇帝是天子，是奉天而来。既是谋反大案，犯案的又是金枝玉叶，事情立刻呈报给了长孙无忌。长孙无忌正吃饱了没事干在那里磨刀。
而这时候魏王李泰已经郁闷地死于均州，房遗爱原本作为魏王李泰的心腹，在贞观年间为助李泰夺嫡，上下奔走颇为卖力。长孙无忌当然不会放过他，不仅如此，他还要趁这次机会尽量多干掉一些自己的政敌。房遗爱夫妻的谋反罪看来是板上钉钉跑不掉了，这是一张网，他要尽可能地把这张网撒开，口张得越大越好，大鱼多多益善，小鱼小虾一个不能少。他要将那些他看着不顺眼，人家也看他不顺眼的政敌们统统罗织进来。
首当其冲的就是魏王旧党和不满李治做皇帝的人，其中包括当世名将丹阳公主驸马薛万彻，巴陵公主及驸马柴令武夫妇，荆王元景。
第二波就是虽然没有参与进来，但关系和长孙无忌不和的，就是李世民的第三个儿子李恪。李恪在诸位皇子中的名望较高，很得人心，现在又是司空，长孙无忌很忌恨他，想要找借口诛灭李恪以断绝众望。他示意房遗爱诬陷李恪也参与谋反，房遗爱自作聪明，希望能像当年纥干承基密告太子谋反那样免死，就招认说与李恪是同谋。
永徽四年（公元653年）二月初二，房遗爱、薛万彻、柴令武处斩，李元景、李恪、高阳公主、巴陵公主一并赐自尽。
吴王李恪临死的时候，大骂道：“长孙无忌擅弄威权，残害忠良，祖宗有灵，长孙无忌灭族在即！”
第三波打击对象就是那些与房遗爱关系亲密的大臣。这一拨人中间有宰相兼太子詹事宇文节、左骁卫大将军、驸马都尉执失思力、江夏王李道宗等人。
宰相宇文节是高宗皇帝任命用来分化长孙无忌一党权力的，本来就是长孙无忌的眼中钉、肉中刺，现在房遗爱犯罪，宇文节又出面为他开罪辩护，无疑是给了长孙无忌一个株连的借口。
江夏王李道宗是皇室中的战功卓著者，为人也很谦和。贞观末期时，他因与长孙无忌不和，自请改任散官，那意思是惹不起咱还躲不起吗？他忘记了，在这个世界上，有些人你既躲不起更惹不起，李道宗最后还是没能逃过被罗织立案的命运，病死于流放途中。
接着，长孙无忌又将房遗直贬为春州铜陵尉，同时还取缔了房玄龄在太宗庙陪祭的殊荣。
长孙无忌这样抓住一件事情大兴冤狱，就算不相干的旁人，也感觉到了不寒而栗。这件事让高宗切切实实地感受到了来自舅父的震主之威。这时候，即使长孙无忌不是想篡权的奸臣，皇帝也不由得往这方面怀疑了。
皇帝也不好混，因为你不知道，那些笑容和语言的背后包藏的是一颗热乎乎刚出炉的忠心，还是一把冷冰冰刚磨好的钢刀。
长孙无忌既然如此无忌，那他这个皇帝要有所忌，不然早晚要吃亏。
高宗皇帝马上做出夺回大权的准备了，就在这个月颁诏升任李绩为司空，仍然兼任宰相职务。一向小心谨慎的李绩这次却很干脆地接受了皇帝的任命，这与他永徽元年为了避免和长孙无忌冲突，而坚决推掉左仆射的做法，形成了鲜明的对比。
估计李绩此时也已经对长孙无忌起了疑惧之心，开始怀疑长孙无忌要成为权奸了。这时候，他能够干脆地接过高宗赋予他的权力，有两种考虑：一是为大唐江山考虑；二是为自己身家性命着想。
他不能坐等长孙无忌的屠刀指向他，他要挺身而出主动出击。
高宗在任命李绩做司空后，还在努力提升他的地位，特命画工再度为李绩画像，并亲自作序，先追忆一番李绩为东宫旧属时的往事，重提太宗提拔他的本意，提醒他记得自己的责任，“朕以绮纨之岁，先朝特以委公，故知知哲之明，所寄斯重！”最后又对他大加褒奖，“茂德旧臣，惟公而已，用旌厥美，永饰丹青！”
高宗这么做，有他自己的想法。昔日凌烟阁画像的二十四功臣之中，只剩下长孙无忌和李绩仍在用事，称李绩为“茂德旧臣，惟公而已”。高宗显然是想树立李绩的威望，故意冷落一下长孙无忌这位元舅兼托孤大臣。
其实这些年李绩的存在对长孙无忌而言一直是块心病，就算他长孙无忌是帝国的一哥，但李绩至少也能捞取一个副一哥的地位。李绩的存在，始终是对长孙无忌的牵绊。只不过在长孙无忌尚未骄狂的时候，或虽然骄狂但打击时机还没成熟的时候，老于世故的李绩是不会站出来与长孙集团做无谓的摩擦的。
毕竟长孙无忌是先皇的发小，是高宗的亲舅舅，算是一家人。
但是现在，李绩已经明显地感觉到高宗皇帝对自己的这个舅舅已心生芥蒂，铲除长孙无忌的时机正悄然逼近。