麟德元年(664)，因为左、右相都被打倒了，太常伯刘祥道升任右相，大司宪窦德玄为司元太常伯、检校左相。这一年高宗和武则天闹矛盾，召自己的老部下西台侍郎、同东西台三品上官仪一同商议。政治场里面的私人关系非常重要，高宗不找右相刘祥道，找了资历稍微浅一点的上官仪，就是因为上官仪是他的老部下。没想到上官仪直接建议废掉皇后：“皇后专恣，海内所不与，请废之。”左右的太监宫女急忙跑去通知武则天，武则天立刻来找高宗“自诉”，高宗又不好意思了，“羞缩不忍”，转眼把全部责任推给了上官仪，说：“我初无此心，皆上官仪教我。”
上官仪的倒台其实比前两年左相许圉师、右相李义府的倒台更合理，他的罪名很严重。一方面高宗要维护武则天和太子李弘的地位，一方面上官仪此时大权在握，飞扬跋扈，大有之前李义府的模样。上官仪更犯了官场大忌，他是前太子李忠的旧部，又企图动摇武则天的皇后位置，进而也就动摇了太子李弘的地位。这一切很容易让人猜疑。高宗疑心病发作，把上官仪一系彻底铲除。还是由许敬宗负责处理。每次打倒权臣宰相，都有许敬宗和李勣出现。这两个人在政界资历最老，是高宗唯一允许坐轿进宫的人；一文一武，可以说是高宗的两个高级打手。也许大家会说这是许敬宗秉承武则天的意志，其实在许敬宗死后很久武则天才展露出政治野心。最后，上官仪和他的儿子上官庭芝被处死，籍没其家，连带着前太子李忠也被杀死，跟上官仪关系好的大臣也被赶出权力核心。
高宗对军队干预很多，他不允许任何人染指军队。唐朝军队的主要将领都由高宗亲自提拔，比如苏定方、薛仁贵、裴行俭、王方翼、程务挺。这里面没有一个人跟武则天有什么关系。武则天上台后，她在大唐的军队中几乎没有什么亲信。
武则天和高宗的关系，史籍中有句话说的特别好：“武后能屈身忍辱，奉顺上意。”
高宗有一个乳母，叫姬揔持(610—665)。这个女人出身贵族，十四岁就嫁给了当时的义安王李孝常第六子上大将军李义余。贞观年间，李孝常和刘德裕等谋反被杀，女眷没入掖庭。姬揔持很得唐太宗和长孙皇后赏识，做了晋王李治的保姆，授荥阳郡夫人（三品）。高宗即位，封她为周国夫人。武则天做了皇后以后，武家的地位上升。按照唐朝的惯例，皇后去世的父亲要追封亲王。武则天的父亲武士彟则被追封周国公。照理说，武则天的母亲也就是杨氏，应该跟丈夫的爵位匹配，改封周国夫人。姬揔持遂提出把周国夫人的头衔让给武则天的妈妈，自己改封为鲁国夫人。结果高宗反对。他让自己的保姆占据周国夫人的封号一直到去世，而武则天母亲只能顶着荣国夫人的头衔。更过分的是，杨氏死后，高宗居然追封她为“鲁国夫人”——这是高宗保姆退而求其次的头衔！按理说，武则天是皇后，武则天的母亲是高宗岳母，高宗应该更照顾自己的亲戚，但是他可以为了自己的奶妈让武家受辱。一直到光宅元年(684)，高宗死后，没有人再压制了，武则天才追封他的父亲为“魏王”。武则天“屈身忍辱”可见一斑。
图46 姬揔持墓志。姬揔持去世后，高宗“敕使内给事冯士良，送御所制诗及手敕一卷，焚于灵前”。（本图源自齐运通编：《洛阳新获七朝墓志》，北京：中华书局，2012，第109页）
多说一点
《洞渊神咒经》为什么能掀起政治风波？
《太上洞渊神咒经》二十卷。有唐代杜光庭序。其称西晋末，太上道君以《神咒经》授金坛马迹山道士王纂。该经实际上非一人一时作品。其中心思想是讲在末世劫运的大动乱之后，当有真君出世，使天下太平。关于真君，它预测：“真君者，木子弓口，王治天下，天下大乐，一种九收，人更益寿三千岁。”“木子弓口”的谜底就是“李弘”。
