至於為避王蕭二人冤魂就避居洛陽，也靠不住。高宗年間，沒事就往長安城以外跑的是李治本人，永徽年間去年最多的是寶雞萬年宮，顯慶二年以後置洛陽為東都，稱洛陽與長安是他的“東西二宅”，這才時常開始往來於長安洛陽之間。武則天做為皇後隻是隨行，何況她為了緊跟高宗還不得不放任兒子留在長安監國，以至逐漸造成大權旁落母子反目。區區兩個冤魂與權力又孰輕孰重？再往後她改李唐為武周，要換個京城當然也是無可厚非，似乎都與冤魂扯不上關係。何況洛陽宮城中武則天殺的冤魂也夠多的了，哪有老年人不怕冤魂壯年人反倒怕成這樣的道理。——因此，與其說她是因為兩個冤魂而避開長安，還不如說她是因為太宗年間的過去而多少有些不喜歡長安。這個道理也放在李治身上也一樣可以解釋得通。
    王皇後和蕭淑妃都灰飛煙滅了。接下來的事情也就順理成章。
    顯應元年正月初六，王皇後的養子太子李忠被廢為梁王、梁州刺史，武皇後四歲的長子李弘成為大唐儲君。當年李忠被冊太子，長孫無忌出了大力，假如王皇後不被廢、假如李忠能順利繼位，長孫無忌無疑將能在扶保太宗、扶保高宗之後，成為三度扶立皇帝的大功臣。這也是他竭力阻止有親生兒子的武媚正位中宮的暗箱理由。然而這個美好的前景，至此徹底破滅。
    二月十七日，在武媚冊後時已經被追封為司空的武士彠又被再次追封為司徒、周國公。
    三月十七日，武皇後祀先蠶於北郊。
    四月十四日，高宗偕武皇後登安福門城樓，觀玄奘迎禦製並書慈恩寺碑文，這場典儀上的儀仗徒從之盛，是自魏晉以來佛事中從未有過的。
    大慈恩寺位於長安宮城，是李治做太子時就發願為母親長孫皇後興建的寺院。這道禦製碑文則完整地記述了建寺的過程之盛。從表麵看來，關於這道碑文入寺的整個過程都顯得慈悲不已，一片祥和，事實上卻已經顯出了長孫家族的末路氣象——除了碑文製成當天，由長孫無忌向袞袞諸公宣讀了一趟之外，其它的出頭露麵機會都由新貴薛元超、李義府、許敬宗給占了去。當長孫無忌站在台上做一部讀稿機，念著高宗感懷母恩的字句、回憶小外甥發願建寺時的溫馴聽話，想到曾經的權傾朝野，體味現實中長孫家族的處境，這可真是絕頂的諷刺，長孫無忌又該有一種怎樣的悲涼。長孫皇後一生最大的願望，就是哥哥能遠離權柄，使長孫家族能夠綿延長遠，如今看來，是將要成為泡影的了。高宗之所以還沒有立即動手，隻不過是因為長孫無忌入主中樞三十餘年，枝繁葉茂，刨坑斷根的工作需要時日而已。
    而此時，站在安福門城樓上的武皇後腹中已經懷上了她的第三個兒子，這一切都顯示著李治對武皇後的寵戀殊深。照常理推測，所有的人都認為，如今皇寵隆重的武皇後家族，將要取長孫氏而代之了。然而武皇後卻並不著急。
    九月十二日，武後製《外戚誡》獻於高宗。彰顯自己並不在乎提拔外戚的意思之餘，話裏話外似乎也敲打著長孫家族。
    同年，十一月初五，武皇後生下了她的第四個孩子：三子李顯。
    這時候，高宗對新晉信臣的寵任已經到了極端的程度。洛州女子淳於氏有美色，卻是個殺夫疑犯，由於案情重大被送押大理寺。可是正所謂沒有最猛，隻有更猛，李義府居然毫不在乎淳於氏的光榮曆史而看上了她，硬讓大理寺丞畢正義直接送進自己府裏納之為妾。這事被大理卿段寶玄一本奏上朝廷，高宗稀奇之下命人調查。李義府怕事情鬧大，為了封口硬是逼著堂堂四品官畢正義上吊自殺。這樣一樁奇案，高宗居然在“知之”後，滿不在乎地“不問”了。
    這樣的枉法縱容，當然是因為李義府是個得力的助手，正所謂人有人路蛇有蛇道，敢於這樣膽大妄為不按規矩出牌的也可算是非一般人材，難逢難遇。常言有雲：成大事者不拘小節，高宗就是這樣一位欲成大事的人物。隻要李義府還肯聽指揮，一切都好商量。高宗是要留著他派大用場的。
    就在同一年，拔除長孫無忌“同黨”的行動開始一步步進行。
    看著這樣的形勢，大約是出於背水一戰的決心，長孫無忌的姻親韓瑗向高宗上書，為禇遂良喊冤了。然而令人哭笑不得的是，老臣派吃了一場又一場的大虧，卻仍然沒有弄明白高宗心頭的大忌，還在絮絮叨叨他們“先朝老臣”、“扶立陛下”的功績：“社稷之舊臣，陛下之賢佐。”“陛下無故棄逐舊臣，恐非國家之福！”
    不用想了，原本是哪裏跌倒的，還要繼續在同一個地方摔下去。這樣的對白聽在高宗的耳朵裏，後果可想而知。“上不納。”韓瑗試探不果，知道結局將不妙，再次要求“歸田裏”。又是“上不許。”
    高宗是絕對要讓韓瑗閉嘴的，但是豈能讓他走得如此幹淨，還反過來給自己這個皇帝戴上一個“無故貶退舊臣”的名聲？果然，沒有多久，許敬宗和李義府就出手了。兩人一齊上奏，誣陷韓瑗、來濟與外放的禇遂良勾結，想要圖謀不軌。奏章一上，高宗全本照準。韓瑗背著罪名，從錦繡長安被貶出京城，做了振州（海南三亞）刺史，來濟則貶為台州（浙江臨海）刺史，禇遂良加貶為愛州（越南清化|）刺史，可憐的王皇後舅父柳奭加貶為象州（廣西象州）刺史，長孫無忌的表弟高履行也由堂堂太常卿駙馬都尉貶為益州（成都）長史。