奸佞之人，大都是贪得无厌之辈，擅于结党之流。李义府也不例外。显庆三年（658年），得宠于上的李义府，将其诸子、甚至尚在襁褓中的婴儿，都封列为官。如此荣宠豪贵，李义府仍不满足。“惟贿是利”，他与其母、其妻及诸子“卖官市狱，门口沸汤”，足见其贪婪之至。同时，李义府不惜施用各种手段培植亲信，多树朋党，其势可“倾动朝野”。
李义府如此得意忘形，胡作非为，自然惹起一些朝臣的不满。中书令杜正伦，乃一元老重臣，对李义府的所作所为甚是厌恶；李义府依仗恩宠，也不把杜正伦放在眼里。杜正伦便暗地与中书侍郎李友益商量，想要设法搜集李义府的罪证，然后将其除掉，不料，李义府却得知了这一消息，便来个恶人先告状，想到反诬杜正伦。于是，俩人在高宗面前争辩不休，相互指责。高宗虽然宠幸李义府，无奈杜正伦乃太宗重臣，又言之有理，然而高宗又不想光处罚李义府，便各打五十大板，对双方都做了惩罚：显庆三年（658年）十一月，贬杜正伦为横州刺史，李义府为普州刺史。当时朝中舆论支持杜正伦，而武后则褊袒李义府。高宗作出这样的决定，表面上看是“两责之”，实际上只是对杜正伦的惩罚。因为，李义府本该惩处，贬为刺史就算高抬贵手了；而杜正伦刚正进谏弹劾奸佞，理应受到赏赐，却反遭贬谪，岂不是黑白颠倒？事实上也正是如此，杜正伦死在了横州，而李义府不到一年又官复原职。显庆四年（659年）八月，高宗诏令李义府为吏部尚书、同中书门下三品，其余官封如故。
这期间，朝廷内部发生了一次大变动。唐太宗皇后之兄长孙无忌，因反对高宗立武昭仪为皇后，深为武后所怨。武后伺机陷害长孙无忌。经过一番谋划，许敬宗诬告国舅长孙无忌乃“今之奸雄”，意欲谋反。于是高宗将其舅父长孙无忌放逐黔州，其子秘书监驸马都尉长孙冲等被除名，流放岭南。同时还斩杀了贬在外地的韩瑗等，受牵连的大臣达十多人。就连中立不言的燕公于志宁也被贬为荣州刺史。这是武后势力对唐朝元老派的一次毁灭性打击。从此，朝权进一步被宫中势力所控制。没有这个变故，李义府官复原职恐怕不会如此之快。经过这个变故，李义府重入朝廷也就更加胆大妄为了。
李义府既已显贵，总觉得自己的家族世代未能列名人志——贞观时所修的《氏族志》，是一大缺憾，应予更改。他的这一想法，与武后是不谋而合的。因为武后家族也未入《氏族志》。于是李义府和许敬宗奏改《氏族志》。有武后在高宗面前鼓动，高宗自然准奏。新订氏族志更名为《姓氏录》。李义府借此机会，终于跻身于名门望族了。李义府曾说他本出于赵郡李氏，并与诸李氏叙亲疏。“无赖之徒藉其权势，拜伏为兄叙者甚众。”给事中李德崇开始与其叙同谱，待其被贬普州，李德崇便将其从赵郡李氏族谱中删除。李义府听说后十分恼怒，重新为相后，便唆使亲信罗织罪名诬陷李德崇，将其下狱，并逼其自杀。由此可见，李义府报复心极强，且心狠手辣，稍不如意，便想尽办法以达到复仇的目的。
李义府的家族挤进了《姓氏录》，他又觉得先祖的坟墓实在寒酸、有失体面了。于是，李义府要将其祖父改葬于永康陵旁。李义府大兴土木，示意附近各县都派丁夫、车牛参加修建。三原县县令李孝节趁机竭力讨好李义府，私下征集众多丁夫、车牛，昼夜不停地输土筑坟。见三原县令如此大张旗鼓，附近七县的县令惟恐自己稍有怠慢而得罪了李义府，便迫不得已地带领人丁、车牛去供役。高陵县县令张敬业一向忠厚老实，迫于压力，终日劳累，活活累死在工地上。助役者七县之多且不说，就连王公以下的各级官吏也都争先恐后地为其送礼，赠送安葬所需用品。送葬那天，高宗下诏令“御史节哭”。送葬的马车，以及祭奠供帐等物，从灞桥到三原70里，浩浩荡荡，络绎不绝。“辖辅刍偶僭侈不法人臣送葬之盛典无与比者”，成了唐朝以来王公大臣们未曾有过的豪华葬礼。这既是他贪得无厌、盘剥百姓的充分表演，又是他权倾朝野的一次炫耀和示威；为祖父迁坟，竟有这般举动——上至高宗下诏，中至公卿送礼，下至县令供役，达此者能有几人？足见我李义府权高势重，谁人能奈我何？可以说，李义府的移葬祖坟之举，既是想光宗耀祖，更是玩弄阴谋诡计的十足暴露。
李义府越发得势就越加钻营奸佞之道，不仅自己肆无忌惮，就连整个家族也无所顾忌，“专以卖官为事”。久而久之，高宗也觉得他的所作所为未免有些过分，劝他说：“听说你的儿子、女婿不以法行事，多有过失，朕已为你多加掩盖，你应该劝他们少为之。”可以说，作为一国之君的高宗，这番话说得相当客气了。然而，李义府自恃有武后撑腰，揣摩众臣无有敢上谏其罪之人，便勃然变色，慢慢地问：“是谁向陛下这么说的？”高宗说；“何用问我，是你自己所为嘛！”李义府无言以对，但并未对高宗谢罪，只是慢慢退去，惹得高宗满心不悦。李义府之所以敢于如此对高宗不恭，就是因为他有武后这个靠山，而武后的宫中派又是朝中最有势力的。李义府利用皇帝的软弱无能，有时居然不把皇帝放在眼里，可见其骄横无羁到了何等地步！