本來，收複燕雲十六州一事，一直由童貫負責運作。可是，由於童貫領兵北伐失利，令宋徽宗很失望。所以，童貫自燕京回到朝廷後，“頗失帝意”。宋徽宗打算物色合適人選，換掉童貫。
    王黼與粱師成見有機可乘，遂聯合舉薦譚稹擔任河東、河北兼燕山府路宣撫使。宋徽宗采納其建議，令譚稹盡快赴任，“交割金人所許山後之地。”
    譚稹與王黼、粱師成關係很密切，與童貫素來不和。但譚稹在軍中的威望與勢力，無法與童貫相比。宋徽宗擔心童貫幹擾譚稹，不利於譚稹開展工作，於是下詔，令童貫依照前太師神霄宮使名義退休。
    然而，上任之初，譚稹並沒把主要精力放在交割雲中這件事上。因為他聽到許多反映常勝軍和郭藥師的負麵問題，他立即上奏給宋徽宗。他在奏疏中說，隨著常勝軍軍力日漸擴大，他們逐步占據了燕山大片土地和主要關口。作為常勝軍統帥的郭藥師，飛揚跋扈，欺上瞞下，經常不聽燕山府節製。人們私下裏議論說，如果任其發展下去，很可能變成第二個安祿山。
    這個問題，引起了宋徽宗的高度警覺和不安。其實，類似的警告，宋徽宗過去也曾接到過一些。詹度雖然已離開燕京，但仍多次秘密上奏，說郭藥師人品低劣，心懷叵測，很不可靠，希望朝廷早日采取措施。宋徽宗也早想解決這個問題，可是一直苦於胸無良策。
    譚稹經過考察與思索，提出了一個解決方案。他建議在河東另外組建一支五萬人左右的隊伍，主要招收雲、朔一帶的漢民，讓他們分別屯守在各州縣要害之地，號為義勝軍。讓李嗣本和耿守忠擔任正副統帥，以此來抗衡常勝軍，並使郭藥師有所忌憚。
    宋徽宗覺得譚稹這個建議很好，很快便予以批準。
    李嗣本和耿守忠都是河東守將，他們對雲中地區的地形人口等情況都比較熟悉。接到命令後，他們立即展開招兵工作。他們從“歸朝人”中選拔那些少壯者，登記名號，建立軍籍，發給軍餉。
    宋朝有所謂“歸正人”、“歸明人”與“歸朝人”之說。這些人都是一些特殊群體，這些概念是宋朝在處理與周邊少數民族及其國家政權關係中形成的概念。
    歸正人是指，原是中原人、後陷入番邦、再後來又複歸中原者，是自邪而歸正之人。歸明人是指，原不是中原人，是中原之外的少數民族，來歸中原者，是自暗而歸明之人。歸朝人則專指，原係燕雲地區的漢人，而歸宋朝者。
    由於連年戰亂，燕雲地區出現了大量流民，他們現在基本都屬於“歸朝人”，符合招兵條件。於是，他們都紛紛前來報名，加入到義勝軍隊伍中來。義勝軍士兵的優厚待遇，甚至還吸引了不少常勝軍士兵偷偷跑來入伍。
    郭藥師對義勝軍的建立有些恐慌，特別是自己隊伍中不斷有軍士偷偷前去投奔義勝軍，這讓他很頭疼。為避免事態擴大，他下令在所有士兵的臉上加刻常勝軍標記，以防止他們逃跑。這個做法引起常勝軍士兵的極大不滿，弄得人人抱怨，軍心不穩。
    常勝軍主要由三部分人組成，一是原遼國東京道漢人，二是渤海人，三是原南京道漢人。而義勝軍主要是由燕雲漢人所組成。
    義勝軍的優厚待遇不僅讓常勝軍羨慕，也讓宋朝官軍大為不滿。當時，根據朝廷政策，義勝軍的月糧和服裝是其他官軍的兩倍。而且官軍吃陳糧，義勝軍吃新糧，官軍上下心裏都很不平衡。
    燕雲漢人作為“歸朝人”，他們在宋軍官兵眼中仍然是“番人”，是“漢兒”，他們時常遭到宋軍官兵的白眼。官軍士兵路上遇見義勝軍士兵，經常辱罵他們：
    “汝番人而食新，我官軍也而食陳，吾不如番人也？吾誅汝矣！”
    義勝軍士兵聽到這些話，皆恐懼不安。
    宋軍官兵經常當麵以“番人”來辱罵燕雲漢人，從不將他們看成是同族人，認為他們是“非我族類”。這樣的結果是什麼呢？燕雲漢人無法從宋人這裏找到認同，他們必然“其心益貳，俟釁且發”。在後來爆發的宋金戰爭中，他們紛紛背叛宋朝投降金軍，也就不令人感到奇怪了。
    不僅是宋軍官兵對燕雲漢人態度很不友好，就是宋朝普通老百姓，對燕雲漢人也很不尊重，也視他們為“番人”。宋朝朝廷對待燕雲漢人的態度其實也很曖昧，既猜忌他們，不信任他們，又想拉攏他們，利用他們。
    在這樣的曆史背景下，燕雲漢人對待宋朝的態度也很複雜。特別是在遼國覆亡之後，他們有的向往宋朝，有的怨恨宋朝，有的剛開始對宋朝抱有希望，但後來看了宋朝政策後則轉為失望，乃至絕望。
    其實，無論是常勝軍還是義勝軍，他們從上到下，從軍官到士兵，對宋朝都沒有什麼深厚感情。他們自認為是遼國人，因為遼國已亡，他們是在萬般無奈之下才投靠了宋朝。可是，宋朝人卻不斷嘲弄他們，侮辱他們，對他們的漢人身份不予認同，這必將導致他們心理失衡，使得他們的立場與觀念極不穩定。曆史條件造就了他們，他們如同無根的牆頭草，隻能隨風而搖擺。
    然而，令人遺憾的是，宋徽宗與他的大臣們對國際政治缺乏深刻認識。他們竟然花掉大量軍費培養常勝軍與義勝軍，希望依靠常勝軍與義勝軍這樣的軍隊，來保衛大宋北部邊疆。一旦邊境爆發戰爭，主要由燕雲漢人組成的義勝軍與常勝軍，能為宋朝賣命嗎？