十二月初七日下午，蔡靖率領燕山府大小官員們，站在燕京城東城牆上，眼巴巴地朝著白河方向瞭望。白河距離燕京隻有八十裏路，隻見白河方向空中，“塵埃如雲氣，遍空不可辨”。
    過了好大一會兒，忽然看見張令徽率軍退回，接著劉舜仁也退了回來。一看士兵們那灰頭土臉的樣子就知道，他們被金人打敗了。
    蔡靖等大小官員的心頭，當即蒙上了一層不祥的陰影。可是，因為一直沒見到郭藥師的隊伍，他們還懷有一定的希望，希望郭藥師能凱旋而歸。
    傍晚時分，郭藥師也敗退而回。郭藥師與張令徽、劉舜仁一見麵，就指責他倆：“你們為什麼撤退？我都殺到金營去了。你們要對這次敗仗負責！”
    張令徽一聽這話，情緒也很激動：“你有本事，為什麼也退回來了？我們對陣的是斡離不主力，你對陣的是什麼？”
    張令徽與郭藥師互相指責，互相毀謗，互相譏諷。劉舜仁默不作聲，但情緒也很沮喪。
    張令徽與郭藥師矛盾很深，而且由來已久。當初，他倆在遼國做官時，張令徽官職一度曾在郭藥師之上。投降宋朝後，郭藥師不僅官位在張令徽之上，而且還受到宋徽宗的額外寵幸，還得到童貫和蔡攸二帥的特別賞識。這讓張令徽很嫉妒，心裏很不爽。
    張令徽一想到自己備受冷落，就怏怏不樂，負氣不平。他言行乖惡，郭藥師對其也有所忌憚。王安中在任時已有所覺察，曾向宋徽宗反映過，朝廷也曾委任張令徽為節度使高官。但節度使官位畢竟還是在郭藥師之下，所以他心裏一直很不平衡。
    蔡靖見郭藥師、張令徽與劉舜仁皆敗退而歸，感覺形勢不妙。於是，率領燕山府監司官員們，來到城南門內開會，討論下一步打算。
    轉運使呂頤浩建議說：“應當立即組建一支二千人的敢死隊，然後打開城門，向南撤退。”
    蔡靖說：“此事要好好研究，深思熟慮，不可貿然打開城門。”
    提舉官沈琯也不讚成開城門。
    商議了半天，除了開城撤退外，再也沒有其他辦法。
    蔡靖說：“現在大家先回去，可與家人商議一下，不妨先送骨肉南歸。”
    蔡靖回到家，對許采和蔡鬆年說：“今天，我們在南門裏開了一個短會，他們都想棄城南撤，你們看如何？”
    許采與蔡鬆年都反對這樣做。許采說：“公是守土之臣，豈可與他人相比？自當以死守之。況且，公若率諸人同行，他們都各有眷屬拖累。而且，今城南盧溝河一帶，敗軍滿野，他們無以發泄，肯讓我們順利南歸嗎？”
    蔡靖說：“我之意正如此。”
    這時，城門守軍將領跑來報告說：“呂頤浩與廉防使梁競，攜帶家屬到達城南門，他們準備出城而去。另外，還有漕司吏卒大約一二百人，在城南門砸門，也想出城南逃。”
    蔡靖聽後果斷下令：“你立即帶人，手持利刃，前去阻止。敢有乘亂而出者，斬之！”
    過了很久，城南門一帶的紛亂才平定下來。
    這天晚上，燕京城裏有傳言說：“常勝軍可能要發生兵變。”許采聽到消息後，急忙向蔡靖報告。蔡靖頗以為疑，不太相信。這時，轉運使呂頤浩和廉訪使梁競等人，一起來到蔡靖家。他們你一言我一語，力勸蔡靖趕緊下令，棄燕京城而南撤。
    安撫司勾當公事吳激說：“現在，趁金軍尚未圍城，蔡公可率軍退出燕京，以求自保。”
    許采反對出城，他分析說：
    “唐室之亂時，如李、郭諸將，曾有退保者。但他們各提重兵，或以此地未便，或就水草，或就地勢。然而現在，燕京城乃蔡公所治理之地，與上述情況皆不同。所以，吳激之言是錯誤的。蔡公若是聽其建議，棄城而逃，等到他日，棄城之責任必將由蔡公一人承擔，蔡公不可不察也。再說，如果常勝軍知道蔡公率眾而逃，郭藥師等人必會以此為藉口，將蔡公等人抓捕，請蔡公深思。你們想一想，出城而逃，又能逃往哪裏？”
    蔡靖聽後，深以為然。
    呂頤浩、梁競以及吳激等人聽後，嘴上雖然沒說什麼，但臉上已現出憤怒之色。