李义府很善于伪装自己，他虽然非常奸佞。但在外表上，却给人一种颇为柔顺、谦恭的感觉，与人说话也总是面带微笑，而把阴险狡诈和褊私妒嫉藏之于心。凡遇不顺心者，皆加以中伤陷害。这样的口蜜腹剑之人，更带欺骗性，也更具危害性。久而久之，朝野皆透过面纱看清了他的真实嘴脸，称他“笑中刀”。因其“以柔而害物”，故又称他为“人猫”。
李义府因得宠于高宗和武后，攘取威柄，就愈加胆大妄为。洛州有一女子因罪被关押在大理寺。李义府闻其貌美，让大理丞毕正义将其释放，他要纳其为小妾。大理卿段宝玄闻听此讯，马上向高宗奏明此事。高宗便令给事中刘仁轨、侍御史张伦审问，弄清事情真伪。李义府黔驴技穷。为了防止事情泄露，便逼令毕正义自缢于狱中，杀人灭口。高宗内心明白，却装糊涂，不问其罪。侍御史王义方明知弹劾李义府会祸及自身甚至连累其母，但在其母的坚决支持下，还是挺身而出，上奏：“义府于辇毂之下，擅杀六品寺丞；就云正义自杀，亦由畏义府威。如此，则生杀之威，不由上出，渐不可长，请更加勘当！”并且当庭大声斥责李义府退下，李义府则左顾右盼，若无其事，王义方再三斥责，李义府见高宗沉默无语，只好退出。王义方当廷宣读了弹劾李义府的奏章。高宗本想息事宁人，没料到王义方居然揪住不放，十分恼火，不但不问李义府的滥杀之罪，反说王义方毁誉大臣，言辞不逊，将其贬到州做司户。
李义府“诛弃骨骨更大臣”，何止王义方一人？显庆二年（657年），李义府进中书令，兼检校御史大夫，加太子宾客，封为河间郡公。这时，他与礼部尚书许敬宗秉承武后旨意，诬奏侍中韩瑷、中书令来济与褚遂良图谋不轨，贬韩瑗为振州刺史，来济为台州刺史，“终身不听朝觐”。又贬褚遂良为爱州（今越南清化）刺史。这些太宗以来的重臣，忧国忧民，维护朝纲，是李义府等人行其奸佞的绊脚石，所以相继被贬。