十二月初七日下午，蔡靖率领燕山府大小官员们，站在燕京城东城墙上，眼巴巴地朝着白河方向瞭望。白河距离燕京只有八十里路，只见白河方向空中，“尘埃如云气，遍空不可辨”。
    过了好大一会儿，忽然看见张令徽率军退回，接着刘舜仁也退了回来。一看士兵们那灰头土脸的样子就知道，他们被金人打败了。
    蔡靖等大小官员的心头，当即蒙上了一层不祥的阴影。可是，因为一直没见到郭药师的队伍，他们还怀有一定的希望，希望郭药师能凯旋而归。
    傍晚时分，郭药师也败退而回。郭药师与张令徽、刘舜仁一见面，就指责他俩：“你们为什么撤退？我都杀到金营去了。你们要对这次败仗负责！”
    张令徽一听这话，情绪也很激动：“你有本事，为什么也退回来了？我们对阵的是斡离不主力，你对阵的是什么？”
    张令徽与郭药师互相指责，互相毁谤，互相讥讽。刘舜仁默不作声，但情绪也很沮丧。
    张令徽与郭药师矛盾很深，而且由来已久。当初，他俩在辽国做官时，张令徽官职一度曾在郭药师之上。投降宋朝后，郭药师不仅官位在张令徽之上，而且还受到宋徽宗的额外宠幸，还得到童贯和蔡攸二帅的特别赏识。这让张令徽很嫉妒，心里很不爽。
    张令徽一想到自己备受冷落，就怏怏不乐，负气不平。他言行乖恶，郭药师对其也有所忌惮。王安中在任时已有所觉察，曾向宋徽宗反映过，朝廷也曾委任张令徽为节度使高官。但节度使官位毕竟还是在郭药师之下，所以他心里一直很不平衡。
    蔡靖见郭药师、张令徽与刘舜仁皆败退而归，感觉形势不妙。于是，率领燕山府监司官员们，来到城南门内开会，讨论下一步打算。
    转运使吕颐浩建议说：“应当立即组建一支二千人的敢死队，然后打开城门，向南撤退。”
    蔡靖说：“此事要好好研究，深思熟虑，不可贸然打开城门。”
    提举官沈琯也不赞成开城门。
    商议了半天，除了开城撤退外，再也没有其他办法。
    蔡靖说：“现在大家先回去，可与家人商议一下，不妨先送骨肉南归。”
    蔡靖回到家，对许采和蔡松年说：“今天，我们在南门里开了一个短会，他们都想弃城南撤，你们看如何？”
    许采与蔡松年都反对这样做。许采说：“公是守土之臣，岂可与他人相比？自当以死守之。况且，公若率诸人同行，他们都各有眷属拖累。而且，今城南卢沟河一带，败军满野，他们无以发泄，肯让我们顺利南归吗？”
    蔡靖说：“我之意正如此。”
    这时，城门守军将领跑来报告说：“吕颐浩与廉防使梁竞，携带家属到达城南门，他们准备出城而去。另外，还有漕司吏卒大约一二百人，在城南门砸门，也想出城南逃。”
    蔡靖听后果断下令：“你立即带人，手持利刃，前去阻止。敢有乘乱而出者，斩之！”
    过了很久，城南门一带的纷乱才平定下来。
    这天晚上，燕京城里有传言说：“常胜军可能要发生兵变。”许采听到消息后，急忙向蔡靖报告。蔡靖颇以为疑，不太相信。这时，转运使吕颐浩和廉访使梁竞等人，一起来到蔡靖家。他们你一言我一语，力劝蔡靖赶紧下令，弃燕京城而南撤。
    安抚司勾当公事吴激说：“现在，趁金军尚未围城，蔡公可率军退出燕京，以求自保。”
    许采反对出城，他分析说：
    “唐室之乱时，如李、郭诸将，曾有退保者。但他们各提重兵，或以此地未便，或就水草，或就地势。然而现在，燕京城乃蔡公所治理之地，与上述情况皆不同。所以，吴激之言是错误的。蔡公若是听其建议，弃城而逃，等到他日，弃城之责任必将由蔡公一人承担，蔡公不可不察也。再说，如果常胜军知道蔡公率众而逃，郭药师等人必会以此为藉口，将蔡公等人抓捕，请蔡公深思。你们想一想，出城而逃，又能逃往哪里？”
    蔡靖听后，深以为然。
    吕颐浩、梁竞以及吴激等人听后，嘴上虽然没说什么，但脸上已现出愤怒之色。