蔡京是1120年（宣和二年）六月下台的，這是其第三次罷相。這次罷相的主要原因是，他對聯金滅遼收複燕雲很不熱心，並反對讓童貫負責此事。他又一次用相權冒犯皇權，直接阻礙了宋徽宗收複燕雲的戰略計劃。
    這年初春，童貫曾再次呈上一份《平燕策》，其大體策略是：“雲中，根本也；燕薊，枝葉也。當分兵撓燕薊，而後以重兵取雲中。”
    蔡京將這份《平燕策》扣留在自己家中，既不組織會議討論，也不奏報宋徽宗。隨便擱置了兩三個月，不予處置。
    童貫很生氣，於是向宋徽宗告狀。宋徽宗多次派內侍童師敏，來太師府詢問蔡京：“童貫此策如何？”蔡京每次都以各種理由進行推諉，久久不正麵回複。
    宋徽宗於是又派童師敏來太師府索要奏疏。蔡京口頭答應，但就是拖著不交出文本。宋徽宗有些惱怒。一天早朝後，宋徽宗讓蔡京留下，當麵詢問緣由。
    蔡京回答說：“童貫徒有虛名，無能為也，臣豈不知？且伐國大事，安危係之，陛下何以付童貫？”
    宋徽宗說：“前日取青唐，太師不記耶？豈非童貫之功？”
    蔡京回答說：“崇寧收複青唐時，派遣童貫前往，隻是監軍罷了。當時陛下方垂拱，責辦在臣。兵權交給王厚，而謀策皆臣也。若是當今，臣亦不能為之。收複青唐，今日尚不可為，何況伐遼國乎？”
    宋徽宗說：“其國內自叛，必不能久，如何？”
    蔡京回答說：“臣聞遼主之叔曰九大王，遼主遣九大王將兵伐金，而九大王即軍中為叛臣強立之，九大王得竄身歸國，遼主待之如初，後複出師。詢其帥，則又九大王也。未見其相殘之理。則遼主勝負，本未可知。”
    隨後，蔡京四上奏疏，彈劾童貫，指責其前後敗壞邊事。
    蔡京又對宋徽宗說：“童貫頃緣臣薦，使為監軍，權重過當。他日或累臣，不可無言。且童貫位極人臣，今與臣同，則臣實恥之。”
    蔡京對童貫的這些指責，讓宋徽宗有所顧慮，一度曾考慮罷免童貫一切職務，令其致仕。
    童貫從內侍童師敏那裏得到消息後，很懼怕失去權力。他知道蔡京大兒子蔡攸與皇上私交甚好，於是想請他幫忙。
    蔡攸這年四十五歲，比宋徽宗大五歲，與宋徽宗是老相識。早在宋哲宗元符年間，宋徽宗擔任端王時，每次下朝，都會在路上遇到一個眉清目秀的青年。那青年每次見到端王都要下馬，拱手而立，謙恭有禮。
    端王很好奇地問身邊人：“這是誰家公子？”
    身邊仆隸回答說：“這是蔡承旨的大兒子。”
    蔡承旨就是蔡京，那時蔡京擔任翰林院承旨，是翰林院最高領導。那時，蔡攸在裁造院作監守。裁造院是專門給皇帝裁製服飾等用品的一個機構，是個很基層的部門。
    宋徽宗後來賜蔡攸進士出身，任命其為秘書郎。蔡攸於是鴻運當頭，官位高升，寵信有加。更不尋常的是，宋徽宗與蔡攸私下裏時常不拘君臣之禮，連蔡攸的妻子宋氏也跟著沾光。據說宋氏進出皇宮就像在自己家一樣，很隨意。
    可是，以什麼理由與蔡攸見麵呢？童貫煞費苦心。後來他想起自己在城西的房子，與太師府西湖鄰牆，遂以流水相接為名，邀請蔡攸出城相見，議分定界。
    蔡攸如約而來，童貫置酒厚甚，熱情相待，並送給蔡攸二條飾有犀角的腰帶，希望他在皇上麵前多美言幾句。
    後來，在蔡攸運作下，彈劾童貫一事不了了之。蔡京得知情況後，對蔡攸極為不滿，可又無可奈何。父子倆關係，從此開始變得勢同水火。
    從此以後，蔡京對於聯金滅遼收複燕雲戰略，開始進行消極抵觸。許多大臣依附於蔡京，也都不讚成收複燕雲。宋徽宗心情有些鬱悶。這天上朝時，蔡京沒來。蔡京因年高而享有特權，五日一朝。宋徽宗覺得，蔡京不在場正是一個可以讓大家暢所欲言的好機會，因為有些大臣可能害怕蔡京不敢說實話。
    宋徽宗突然問道：“有一事欲想商，北方果如何？”
    鄭居中回答說：“時機未到，不可為。”鄭居中此時拜領樞密院事，主管國防軍事。
    宋徽宗又問餘深，餘深回答說：“臣與蔡京所見相同，亦曾奏知，恐此事不可輕動。”餘深是位老臣，這年已七十一歲，此時擔任太宰。
    宋徽宗又問中書門下侍郞白時中，白時中顧慮重重，尚未回答，少宰王黼搶著回答說：
    “中國故地，久陷戎虜，今日天相陛下，成此大功，若不乘時，恐有後悔。”
    王黼隨即展開闡述，洋洋灑灑說了數十句話，皆曆曆可聽。
    宋徽宗笑了笑，說：“眾人皆說不可，卿獨可之，難以施行，姑俟他日。”
    又過了一些天，宋徽宗在延福宮舉行曲宴，宴請蔡京、鄭居中、餘深、王安中、白時中等宰執大臣。酒足飯飽後，宋徽宗令大家泛舟遊玩。
    隨後，宋徽宗將一張紙交給童貫，讓他去找蔡京等宰執大臣們。凡是認為可以收複燕雲的，就在這張紙上簽名。
    蔡京等人一聽，皆大為錯愕。蔡京拒不簽名，說：“請回去稟奏皇上，臣將當麵陳述己見，難以書名。”
    尚書右丞王安中說：“某生長北方，聞燕人思歸之情切矣。今若舉事，指揮可定。某亦願書名。”說罷，提筆簽名。
    其餘大臣皆默然，既不說話，也不簽名。
    很明顯，宋徽宗是通過此舉來檢驗宰執大臣對於收複燕雲的態度。
    現在，宋徽宗心裏已經很清楚，隻有少宰王黼與尚書右丞王安中是收複燕雲的支持者。如果要繼續推行聯金滅遼收複燕雲戰略的話，必須更換宰相。在宋徽宗心裏，蔡京下台已成必然。
    然而，蔡京遲遲不主動提出辭職。宋徽宗等了幾天，蔡京還沒有表示。於是，令童貫與蔡攸一同去太師府，向蔡京索取辭職報告。
    蔡京沒想到皇上如此強勢，急忙在家置酒招待童貫與蔡攸，並自稱“事出不意，莫知所為”。喝了幾杯酒後，蔡京對他倆解釋說：
    “某衰老宜去，而不忍遽乞身，以上恩未報，此心二公所知也。”
    旁邊的人聞聽蔡京稱呼兒子蔡攸為公，無不竊笑。