十月二十八日，也就是王淵逃回來報信的那天晚上，劉延慶收到童貫與蔡攸的批複。批複寫在一張精美的小竹紙上，是這樣寫的：“仰相度事勢，若可以那回，量可那回。不管有誤軍事。”大意是，希望劉延慶根據實際情況，自行決定是否撤軍，但不得有誤軍事。“那回”是當時宋人口語，撤軍之意。
    童貫和蔡攸遠在雄州，對前方具體情況不了解，所以讓劉延慶酌情處置，應該說是有道理的。
    劉延慶請求撤軍，主要有兩點考慮。一是，奇襲燕京失敗後，“恐遼症”開始在軍中蔓延，加上糧草又被燒毀，軍中士氣低落，情緒很不穩定。劉延慶認為，此時若迎戰遼軍，必一敗塗地，到那時想撤就來不及了。二是，他認為奪取燕京應該借助金軍之力，因為根據盟約，兩軍要南北夾擊燕京。可是，現在金軍仍按兵不動，所以我軍也應該退兵，等待時機。劉延慶知道趙良嗣與馬擴已去金國談判去了，他想等談判有了結果以後，根據情況再研究出戰方案，也不為遲。
    劉延慶當晚就打算開始撤退，可是劉光世反對。劉光世說：“現已深夜，人馬都在熟睡，若忽然下令撤軍，恐怕會造成混亂。即使撤退，也應等天亮後再撤。”
    這一夜，劉延慶沒敢上床睡覺，他擔心遼軍過河襲擊。拂曉時分，他感到很疲憊，坐在豹皮椅上不知不覺地迷糊了一會兒。忽然，王淵跑進大帳報告說：“大事不好，遼軍在北岸舉火了，很可能要發動進攻。”
    劉延慶大吃一驚，急忙披衣出門，與兒子劉光國、劉光世等將領跑出營帳，來到河岸觀察。對岸果然有火光四處燃起，隱隱聽見有戰馬嘶鳴，似乎有不少軍馬正在集合。
    劉延慶以為遼軍即將發動進攻，趕緊返回中軍，下令燒毀大營和輜重，向白溝方向撤退。慌亂之中，劉延慶竟然沒告訴其他諸將，獨自先行逃跑了。眾軍兵見劉延慶下令燒毀大營率先南奔，不知發生了何事，於是都亂哄哄地往南拚命而逃。
    十萬大軍撤退，竟然事先不做計劃，不做預案，毫無準備，毫無秩序。其結果就是，“五軍雜遝，擾攘散走，自相踐蹂，奔墮崖澗者，莫知其數。”
    劉光世見各軍混亂不堪，急得直跺腳。他下令自己所屬各營，到南蟒莊集結。他已經預感到，老爹這次犯下了一個嚴重錯誤。因為遼軍如果趁機過河追擊，宋軍將一敗塗地。他想在蟒莊集結隊伍斷後，掩護大軍撤退。
    蕭幹得知宋軍已南撤，隨即與耶律大石一起來到河岸，觀察情況。耶律大石望著南岸升起的滾滾濃煙，撫掌大笑，說：“四軍大王用計，堪比三國周瑜啊。”
    蕭幹微微一笑，顯得很得意。
    蕭幹與耶律大石當即率軍過河，來到宋軍營地。隻見地上到處都是丟棄的軍械、糧草、被服等各種輜重物品，一片狼藉。
    蕭幹說：“聽說童貫有些能耐，可他怎麼用劉延慶這樣一頭蠢豬做大將呢？”
    耶律大石想了想，說：“這可能與南朝重文輕武國策有關。南朝雖然經濟文化發達，但軍事並不強大。南朝其實就是個虛架子，真正有本事的人並沒有幾個。”
    這時，有偵察斥候跑來報告說：“在南蟒莊一帶發現有宋軍。”
    蕭幹和耶律大石一聽，都有些出乎意料。耶律大石說：“難道退兵有詐？也不太像啊。”
    蕭幹說：“不管怎樣，都要馬上追擊。我從正麵追，你繞道涿州包抄，兩軍在白溝北岸會師。”
    耶律大石點點頭：“一言為定。”
    南蟒莊很近，蕭幹很快便率軍衝了過來。
    劉光世在此集結了數千人馬，他手下本來有兩萬多人，現在大部分都跑散了。劉光世本想在此伏擊遼軍，可是，沒料到遼軍這麼快就衝過來了。而且，蕭幹率領的都是騎兵隊伍。騎兵隊伍奔馳而來，就像草原上卷起的風暴一樣，不可阻擋。接著，箭矢又如飛蝗般朝宋軍射來。劉光世的數千人馬是以步兵為主，很快被衝的七零八落，四散而逃。
    蕭幹一路追擊，在白溝河北岸，追上了宋軍大隊人馬，雙方激戰，宋軍大敗，劉延慶率殘軍敗將逃入雄州城。
    宋軍這場大潰退，可謂一潰千裏。“捐棄一切軍須之計，相繼百餘裏。”這場大潰退，將熙豐變法以來所積蓄的軍用物資喪失殆盡。燕京人聞聽宋軍潰退如此狼狽，有人作歌，有人作賦，嘲諷劉延慶。在燕京城中，劉延慶已經成為一個笑話，被廣泛流傳。
    這場大潰退，讓劉延慶聲名掃地，暴露了宋軍戰鬥力的軟弱與無能。更為嚴重的是，丟盡了大宋王朝的臉麵，損害了大宋王朝的尊嚴，讓金太祖及其金軍將領們看透了宋軍的底細。從此，宋朝在金人心目中的形象一落千丈。
    宋徽宗對這次潰退的真相是清楚的，因為北伐軍中有宋徽宗的耳線。這人是一個內侍，名叫李滄。早在童貫第一次率軍出發之際，就“微服於童貫軍中”，暗中打探軍中情況。
    宋徽宗之所以這樣安排，是因為宋徽宗知道童貫膽子太大，有時竟敢隱匿實情不報。雖然宋徽宗已派蔡攸擔任副宣撫使監督童貫，但宋徽宗還不放心，又秘密做了這樣一樣安排。
    對於出兵北伐，宋徽宗可以說是處心積慮。燕京城得而複失，軍隊河北大潰退，涿州等州縣又重新被遼軍占領，老百姓東奔西竄。這些情況，宋徽宗都知道，都是李滄密奏給宋徽宗的。
    這天，宋徽宗對王黼說：“童貫和劉延慶在平定方臘時，表現的都很出色，也很勇敢。可這次在河北，為什麼就如此軟弱，如此無能呢？”
    王黼也感到不解：“是啊，的確令人費解。他們為什麼突然撤退呢？這不是糊塗嗎？”
    眾大臣對北伐軍潰退一事議論紛紛。李邦彥一直反對出兵北伐，他對宋徽宗說：“我早就說過，出兵北伐是冒險之舉，就不該出兵。現在，童貫與劉延慶喪師辱國，大臣們都認為，不可不行軍法。”
    如何處置童貫、蔡攸和劉延慶？下一步該怎麼辦？宋徽宗心緒有些煩亂。他不想就此停止收複燕京的戰略行動，他要等著趙良嗣從奉聖州回來後再做決定。
    不過，宋徽宗這次對童貫實在是太失望了，他提筆給童貫寫下一份手劄，說：“今而後，不複信汝矣。”
    梁師成自告奮勇，願意親自去一趟雄州，將這份手劄當麵交給童貫。