永徽六年（655）年底，随着废王立武的完成，李义府立刻高升，以中书侍郎参知政事，正式成为宰相。转年，改元显庆，李义府“以本官兼太子右庶子，进爵为侯”。但是，当年李义府就遭遇一次大危机，《旧唐书•李义府传》有如此记载：
有洛州妇人淳于氏，坐奸系于大理，义府闻其姿色，嘱大理丞毕正义求为别宅妇，特为雪其罪。卿段宝玄疑其故，遽以状闻，诏令按其事，正义惶惧自缢而死。侍御史王义方廷奏义府犯状，因言其初容貌为刘洎、马周所幸，由此得进，言辞猥亵。帝怒，出义方为莱州司户，而不问义府奸滥之罪①。
此案，由李义府贪色引起，更重要的是导致大理丞毕正义之死。毕正义帮助李义府犯罪，为犯人淳于氏免罪，以便于李义府可以纳淳于氏为妾。这里，李义府纳妾是否是毕正义枉法的直接原因很重要。若是，那么李义府有罪。若不是，则李义府为不知情，
————————
①《旧唐书》卷八二《李义府传》，第2767页。
可以无罪。而关键是毕正义，但毕正义已死，李义府可以坚称不知情，他人大约无法继续追究。不过，如果证明毕正义之死与李义府有关，也可以证明李义府有罪。但是关于毕正义之死，《旧唐书•李义府传》写作“正义惶惧自缢而死”，可以看作与李义府无关。但是《新唐书•李义府传》写作：“义府且穷，逼正义缢狱中以绝始谋。”而《资治通鉴》写作：“义府恐事泄，逼正义自缢于狱中。”可见，《新唐书》与《通鉴》的意见一致，与《旧唐书》的说法不同，坚持认为是李义府逼迫毕正义自杀。
究竟李义府与毕正义之死到底有没有关系，从侍御史王义方对李义府的弹劾中似乎可以看出一些蛛丝马迹。《通鉴》所引王义方的奏词为：“义府于辇毂之下，擅杀六品寺丞；就云正义自杀，亦由畏义府威，杀身以灭口。如此，则生杀之威，不由上出，渐不可长，请更加勘当！”①王义方的弹劾文认为，不管毕正义的死是否是李义府所为，即便是自杀，也是因为害怕李义府而自杀灭口的。所以，对于案情的关键，王义方并无实据，仅仅是推测与李义府有关，然后再推导出大臣夺得了只有皇帝才有的生杀大权。王义方的勇气在于明知道皇帝庇护李义府，依然大义凛然地弹劾他，但没有抓住关键证据才是问题所在。此案审问的人是给事中刘仁轨，大概也是因为毕正义一死无法继续下去，没有证据说明刘仁轨也会有意偏向李义府。
王义方一方面没有关键证据，同时对李义府又采取人身攻击，言辞污秽，当场激怒皇帝，所以李义府一方不仅纹丝未动，他自己
—————————
①《资治通鉴》卷二〇〇，第6298页。
反而被贬官外地。《新唐书•李义府传》记为“义方极陈其恶，帝阴德义府，故贷不问，为抑义方，逐之”。《通鉴》记为“上释义府不问，而谓义方毁辱大臣，言辞不逊，贬莱州司户”。到底王义方说了什么，让高宗得出“毁辱大臣、言辞不逊”的结论呢？《旧唐书•李义府传》有所涉及，即“因言其初容貌为刘洎、马周所幸，由此得进，言辞猥亵”。对此，《唐会要》的记载看来是比较完整的。其文如下：
义方乃读弹文曰：“义府善柔成性，佞媚为姿，昔事马周，分桃见宠。后交刘洎，割袖承恩。生其羽翼，长其光价，因缘际会，遂阶通达。不能尽忠端节，对扬王休，策蹇励驽，祗承皇眷。而反凭附城社，蔽亏日月，请托公行，交游群小。贪冶容之姣好，原有罪之淳于。恐漏泄其阴谋，殒无辜之正义。虽挟山超海之力，望此犹轻。回天转日之威，方斯更劣。此而可恕，孰不可容？金风戒节，玉露启寒，霜简与秋典共清，忠臣将鹰鹯并击，碎首玉阶，庶明臣节。请付法推，以申典宪。”①
看来，王义方在刘仁轨等人审讯没有结果之后，决心弹劾李义府，其实是对李义府的一次全面攻击，甚至把李义府最初步入官场也是因为容貌献身的话都说了出来。明确说出李义府进入官场是利用了个人的容貌，委身马周、刘洎以取发展，这就是“毁辱大臣，言辞不逊”的来源。
————————
①《唐会要》卷六一《御史台中•弹劾》，上海：上海古籍出版社，1991年，第1258页。
根据李义府后来的为人，毕正义的案件李义府完全可能有罪，但是因为毕正义自杀，证据链条中断，缺乏证据证明李义府犯罪。王义方的弹劾虽然勇气可嘉，但是人身攻击太过，让李义府这个十分可能的罪犯反而成为受害一方。唐高宗当然有庇护李义府的动机，毕竟李义府在刚刚的废王立武斗争中立有大功，皇帝不能不施加保护，而王义方的言辞确实让唐高宗能够找到理由保护李义府。
显庆元年的这次案件，让李义府有惊无险。不过，是否因此让李义府更加忘乎所以，更加肆无忌惮了呢？很有可能。此后李义府贪赃枉法、倾动朝野的记载很多，而高宗则是一直容忍。直到显庆三年（658）十一月，同为中书令的李义府与杜正伦明争暗斗，终于引起了唐高宗的反感，双双被赶出朝廷。《旧唐书•李义府传》的记载如下：
初，杜正伦为中书侍郎，义府时任典仪，至是乃与正伦同为中书令。正伦每以先进自处，不下义府，而中书侍郎李友益密与正伦共图议义府，更相伺察。义府知而密令人封奏其事。正伦与义府讼于上前，各有曲直。上以大臣不和，两责之，左贬义府为普州刺史，正伦为横州刺史，友益配流峰州。①
就李义府与杜正伦的争夺事件而言，似乎不具有更复杂的背景。杜正伦是前太子李承乾的东宫官，为高宗重新启用，本应心存谨慎才对，没有想到却要用自己的老资格与李义府争斗。李义府
——————————
①《旧唐书》卷八二《李义府传》，第2767页。
自认为是皇帝的功臣，更不会有丝毫忍让。这应该是惯常的官场恶习，双双被贬并不意外。李义府应该引为警惕，事实已经证明皇帝的忍耐是有限的。
显庆四年（659）八月，唐高宗“复召义府兼吏部尚书、同中书门下三品，自余官封如故”。这一次，李义府应该接受教训了吧，事实恰好相反。同为废王立武的大功臣，许敬宗也开始步入人生最辉煌的时期，与李义府相比，许敬宗十分谨慎，再没有发生任何不测，获得寿终正寝的善终。而李义府则继续跳荡，不仅自己贪赃枉法，他的家眷们也争先恐后。《旧唐书》本传记载道：
义府本无藻鉴才，怙武后之势，专以卖官为事，铨序失次，人多怨讟。时殷王初出合，又以义府兼王府长史。三年，迁右相，殷王府长史仍知选事并如故。义府入则谄言自媚，出则肆其奸宄，百僚畏之，无敢言其过者。帝颇知其罪失，从容诫义府云：“闻卿儿子、女婿皆不谨慎，多作罪过，我亦为卿掩覆，未即公言，卿可诫勖，勿令如此。”义府勃然变色，腮颈俱起，徐曰：“谁向陛下道此？”上曰：“但我言如是，何须问我所从得耶！”义府睆然，殊不引咎，缓步而去，上亦优容之。①
对于此事，《新唐书•李义府传》记载相似，但最后唐高宗的态度不是优容而是“帝由是不悦”②。比较而言，《新唐书》的观点
——————
①《旧唐书》卷八二《李义府传》，第2768页。
②《新唐书》卷二二三《李义府传》，北京：中华书局，第6341页。《通鉴》卷二〇一采纳此说，第6334页。
更可取。也正是因为如此，李义府才会身陷后来的泥潭。
阴阳占候人杜元纪为义府望气，云“所居宅有狱气，发积钱二千万乃可厌胜”。义府信之，聚敛更急切。义府居母服，有制朔望给哭假，义府辄微服与元纪凌晨共出城东，登古冢候望，哀礼都废。由是人皆言其窥觇灾眚，阴怀异图。义府又遣其子右司议郎津召长孙无忌之孙延，谓曰：“相为得一官，数日诏书当出。”居五日，果授延司津监，乃取延钱七百贯。于是右金吾仓曹参军杨行颖表言义府罪状，制下司刑太常伯刘祥道与侍御详刑对推其事，仍令司空李勣监焉。①
对此，史书记载很一致，法庭调查证实李义府有罪，而《通鉴》则明确记录了李义府下狱和宣判的时间，即龙朔三年（663）四月五日（乙丑）和二十五日（戊子）②。李义府太过嚣张，犯罪有实，而告发者应该也会考虑皇帝与李义府的关系变化。从李义府方面而言，当江湖人士杜元纪发现李义府家的“狱气”之时，李义府深信不疑，加速敛财以消灾，也就是加速了自己的灭亡。那么，李义府心中的恐惧根源，也应该与高宗的态度有关。
李义府罪有应得，乾封元年的大赦又绕过了他，他“忧愤发疾卒”的下场是时人早就盼望的事。“自义府流放后，朝士常忧惧，恐其复来，及闻其死，于是始安。”③
————————
①《旧唐书》卷八二《李义府传》，第2769页。
②《资治通鉴》卷二〇一，第6334—6335页。
③《旧唐书》卷八二《李义府传》，第2770页。
