宦官譚稹被撤職後，作為譚稹的舉薦人與後台，宰相王黼感到政治壓力越來越大。雖然他名義上仍然是太傅，仍然擔任三省長官，但實際上宋徽宗對他已很冷淡。許多事情已不用他插手，這讓他有些惶恐不安。
    王黼失寵，其實並不是因其推薦譚稹失察，而是另有原因。其原因發生於去年十一月。
    那時候，因為燕京剛收複不久，王黼“身任伐燕之責”，自以為立下了千秋功勳，誌得意滿，有些忘乎所以。有一天，他對宋徽宗說：“我家的屏風上忽然長出一枚玉芝，很奇特，很漂亮，應該是大吉之兆，臣想請皇上臨幸觀賞。”宋徽宗很好奇，便答應前往。
    王黼在京城有兩處府第，一處在大相國寺以東，另一處在西城區閶闔門（宜秋門）外邊的竹竿巷，距離蔡京府第不遠。這處宅邸麵積很大，周圍數裏，富麗堂皇，正廳上麵覆蓋的一律是青銅瓦，後堂為高樓大閣，豪華氣派。院中有一座用花石壘成的假山，高十餘丈，奇特奪目。房屋梁柱門窗，皆用螺鈿鑲嵌。院落西部名叫西村，裏麵都是些竹籬茅舍，風格清新，很有鄉野氣息。
    王黼這兩套房子都是宋徽宗禦賜的。所謂玉芝，就生在西城區這套房子裏。
    宋徽宗到此一看，心裏暗暗吃驚。原來王黼與粱師成是對街鄰居，兩家還開了一個小門，以方便相互往來。宋徽宗獨自從小門，到梁師成家去走了一圈。
    這時候，王黼出門傳旨，讓等候在大門外的宋徽宗的侍從，以及隨行百官們各自散去，說皇上要留在他家裏吃飯。
    隨行官員們散去了。可是，宋徽宗的警衛人員即禁衛諸班直卻不肯散去。他們提出，要見到皇上才肯謝恩散去，不然不肯散去。於是，大家吵吵嚷嚷，紛紛要見皇上。
    宋徽宗回到王黼家後，聽到大門外麵有紛擾喧嘩之聲，問王黼：“外邊發生了什麼事？”
    王黼不敢隱瞞，隻好如實相告。宋徽宗於是在粱師成和譚稹的扶持下，走出大門，對禁衛諸班直進行了一番安撫，大家這才稍微安定下來。
    這天晚上，宋徽宗在王黼家喝的酩酊大醉，話都不能說了，直接昏昏睡去。直到後半夜，宋徽宗才醒來。宋徽宗覺得此時回宮，走皇宮大門不太合適，於是令人打開龍德宮與皇宮相連的夾牆中的一道小門。這道小門是一個密門。當時，進入小門送宋徽宗回宮的隻有手持兵器的內侍十餘人，“三衙衛士，無一人得入者”。
    這天晚上，皇宮裏麵氣氛很緊張，因為皇上出宮一夜未回，不知什麼原因。皇宮警衛隊伍皆集結在教場上，隨時準備投入戰鬥。
    由於飲酒過量，第二天早晨，宋徽宗仍頭腦昏沉，不能上朝禦殿。不明真相的大臣們，紛紛瞎測，人心惶惶。不久，真相大白，人心始安。但這件事影響很壞。有不少大臣批評宋徽宗說：“自祖宗以來，如此臨幸，未之有也。”
    宋徽宗這次之所以喝的如此大醉，大概是他覺得，王黼太讓自己失望了。心情不好，往往容易喝醉。當初，宋徽宗力排眾議，破格提拔王黼，可以說對王黼是寄予了相當的厚望。宋徽宗給王黼的待遇也最高，“恩數異於他相”。不僅賜給他宅邸，還親自給他的宅邸命名為“得賢治定”，甚至又親自給他題寫了載賡堂、膏露堂、寵光亭、十峰亭、老山亭、榮光齋、隱庵等七處亭堂牌額。
    王黼與粱師成在宋徽宗麵前都很會表演。王黼才智出眾，能言善辯，既善於攬權斂財，又善於巧言獻媚。而梁師成則是另一種風格，他愚訥謙卑，老實厚道，不能說，不會道，但他善於察言觀色，處事老道。近幾年來，他們二人在宋徽宗麵前一唱一和，陽奉而陰違，可把宋徽宗害慘了。
    直到這時，宋徽宗才醒悟過來，才明白王黼與粱師成原來是一夥兒的。
    宋徽宗一場大醉之後，王黼與粱師成不僅雙雙失寵，而且他們的政治生命也即將走到盡頭。
    任何朝代，大臣與宦官相互交結都是犯忌諱的，皇帝們對此都很敏感。朝官不得交結宦官，宦官也不得與朝官交結，這是宋代防範宦官專權的一條重要原則。按照規定，兩者若相互往來，將受到懲處。
    然而，宋徽宗朝代，特別是宣和以來，宦官與朝官相互交結，已成為一種普遍風氣。當時，士大夫幾乎無不奔走於宦官之門。"相習成風，皆以附內侍為榮"。但凡權勢顯赫的宦官，無不門庭若市。他們甚至"各立門戶，公受貨賂，以販鬻官爵。"
    宣和六年（1124）九月，宋徽宗開始對朝廷高層人事進行密集調整。首先提拔白時中擔任特進、太宰兼門下侍郞，即右相；提拔李邦彥擔任少宰兼中書侍郎，即左相。不久，又任命趙野為尚書左丞、宇文粹中為尚書右丞、開封府尹蔡懋同知樞密院。上述這些人，加上領樞密院事的蔡攸，構成了當時政府高層決策團隊。
    右相白時中是壽州壽縣（今安徽壽縣）人，進士出身，曆任吏部侍郎、尚書右丞、中書門下侍郎等要職。政和年間，他曾擔任過春官，負責編輯地方上奏的各種祥瑞。他做事很認真，對那些無法用語言文字進行描繪的祥瑞，他就用圖畫來表述。他呈送的《政和瑞應記》以及《讚》，曾獲得蔡京好評，宋徽宗也很喜歡。後來，他便以此平步青雲。他與蔡京的關係一直很好。
    左相李邦彥即所謂"李浪子"、"浪子宰相"，也不是什麼“扶大廈於將傾，挽狂瀾於既倒”的人物。他是大觀二年（1108年）進士，長相俊爽，寫文章又快又好。他生長於市井社會，“習慣猥褻卑鄙，應對便捷。善調笑謔罵，能踢蹴鞠。經常以街市俚語為詞曲，人爭相傳唱，自號李浪子”。
    在國防建設與外交鬥爭的關鍵時刻，宋徽宗竟選擇白時中與李邦彥這樣的善於獻媚的文人出任宰相，這隻能說明，宋徽宗的識人與用人之道的確存在問題。作為一個高層領導者，其領導水平的高低與特點，通過其所用之人就能鮮明地反映出來。
    李邦彥近幾年來一直致力於與王黼爭寵，處處與王黼作對。王黼主張收複燕京，他則反對出兵北伐。王黼與太子趙桓之間有矛盾，暗中謀劃以趙楷為太子。李邦彥則旗幟鮮明地捍衛趙桓的太子地位，並最終取得勝利。
    李邦彥是一個有奮鬥目標的人。在太學讀書時，他學習勤奮，成績優異，從“外舍生”升為“內舍生”，又升為“上舍生”，直至“上舍上等”，“上舍及第”。踏入官場後，他善於交際，善於奉承，長袖善舞，左右逢源，官職不斷升遷，從秘書省校書郎開始，一步步升遷為中書舍人、翰林學士承旨、尚書右丞、尚書左丞，直至現在擔任了左相。他曾說過，自己要“賞盡天下花，踢盡天下球，做盡天下官”。
    現在，李邦彥見“總領三省”的太傅王黼雖然已失寵，但還沒去職，還沒下台，於是，便私下裏與蔡攸密謀彈劾並罷免王黼。
    不久，年僅三十五歲的禦史中丞史何栗上疏，彈劾王黼。他連奏七章，列舉了王黼奸邪專橫、陽奉陰違、結黨營私、巧取豪奪、驕奢淫逸等十五條罪狀，請求罷免王黼，並按律治罪。
    何栗，字文縝，仙井監(今四川仁壽)人，政和五年（1115）的科舉狀元，一直很受宋徽宗青睞。從擔任秘書省校書郎開始，官職逐步提升。因博學強記，正直敢言，宋徽宗安排他擔任禦史台長官禦史中丞。
    王黼政治嗅覺很靈敏，感到形勢對自己越來越不利，於是主動向宋徽宗請求致仕。他在奏章中說：
    “陛下用臣不為不盡，任臣不為不專。緣臣薄祐，取戾陰陽，內積憂虞，外傷疲敝。捫心自悼，吊影生嗟，獲戾天人，莫之可逭。倘許盡還印綬，退即裏居，脫身於風波洶湧之中，收功於桑榆衰蹇之域。人非鬼責，少緩顛隮。永言此恩，是為終惠。”
    宋徽宗很快批準了王黼退休的請求，他在禦筆中寫道：“王黼陳乞致仕，其應恩人數、朝謁禮數等，一切並依蔡京例施行，仍給節度使俸”。
    王黼退休這年，才四十五歲。
    將王黼扳倒後，何栗並未因此而得到重用，而是被外放，以徽猷閣待製知泰州（今江蘇泰州）。但何栗的官聲因此而益盛，給太子趙桓留下了深刻印象，這為後來得到趙桓重用奠定了基礎。