本来，收复燕云十六州一事，一直由童贯负责运作。可是，由于童贯领兵北伐失利，令宋徽宗很失望。所以，童贯自燕京回到朝廷后，“颇失帝意”。宋徽宗打算物色合适人选，换掉童贯。
    王黼与粱师成见有机可乘，遂联合举荐谭稹担任河东、河北兼燕山府路宣抚使。宋徽宗采纳其建议，令谭稹尽快赴任，“交割金人所许山后之地。”
    谭稹与王黼、粱师成关系很密切，与童贯素来不和。但谭稹在军中的威望与势力，无法与童贯相比。宋徽宗担心童贯干扰谭稹，不利于谭稹开展工作，于是下诏，令童贯依照前太师神霄宫使名义退休。
    然而，上任之初，谭稹并没把主要精力放在交割云中这件事上。因为他听到许多反映常胜军和郭药师的负面问题，他立即上奏给宋徽宗。他在奏疏中说，随着常胜军军力日渐扩大，他们逐步占据了燕山大片土地和主要关口。作为常胜军统帅的郭药师，飞扬跋扈，欺上瞒下，经常不听燕山府节制。人们私下里议论说，如果任其发展下去，很可能变成第二个安禄山。
    这个问题，引起了宋徽宗的高度警觉和不安。其实，类似的警告，宋徽宗过去也曾接到过一些。詹度虽然已离开燕京，但仍多次秘密上奏，说郭药师人品低劣，心怀叵测，很不可靠，希望朝廷早日采取措施。宋徽宗也早想解决这个问题，可是一直苦于胸无良策。
    谭稹经过考察与思索，提出了一个解决方案。他建议在河东另外组建一支五万人左右的队伍，主要招收云、朔一带的汉民，让他们分别屯守在各州县要害之地，号为义胜军。让李嗣本和耿守忠担任正副统帅，以此来抗衡常胜军，并使郭药师有所忌惮。
    宋徽宗觉得谭稹这个建议很好，很快便予以批准。
    李嗣本和耿守忠都是河东守将，他们对云中地区的地形人口等情况都比较熟悉。接到命令后，他们立即展开招兵工作。他们从“归朝人”中选拔那些少壮者，登记名号，建立军籍，发给军饷。
    宋朝有所谓“归正人”、“归明人”与“归朝人”之说。这些人都是一些特殊群体，这些概念是宋朝在处理与周边少数民族及其国家政权关系中形成的概念。
    归正人是指，原是中原人、后陷入番邦、再后来又复归中原者，是自邪而归正之人。归明人是指，原不是中原人，是中原之外的少数民族，来归中原者，是自暗而归明之人。归朝人则专指，原系燕云地区的汉人，而归宋朝者。
    由于连年战乱，燕云地区出现了大量流民，他们现在基本都属于“归朝人”，符合招兵条件。于是，他们都纷纷前来报名，加入到义胜军队伍中来。义胜军士兵的优厚待遇，甚至还吸引了不少常胜军士兵偷偷跑来入伍。
    郭药师对义胜军的建立有些恐慌，特别是自己队伍中不断有军士偷偷前去投奔义胜军，这让他很头疼。为避免事态扩大，他下令在所有士兵的脸上加刻常胜军标记，以防止他们逃跑。这个做法引起常胜军士兵的极大不满，弄得人人抱怨，军心不稳。
    常胜军主要由三部分人组成，一是原辽国东京道汉人，二是渤海人，三是原南京道汉人。而义胜军主要是由燕云汉人所组成。
    义胜军的优厚待遇不仅让常胜军羡慕，也让宋朝官军大为不满。当时，根据朝廷政策，义胜军的月粮和服装是其他官军的两倍。而且官军吃陈粮，义胜军吃新粮，官军上下心里都很不平衡。
    燕云汉人作为“归朝人”，他们在宋军官兵眼中仍然是“番人”，是“汉儿”，他们时常遭到宋军官兵的白眼。官军士兵路上遇见义胜军士兵，经常辱骂他们：
    “汝番人而食新，我官军也而食陈，吾不如番人也？吾诛汝矣！”
    义胜军士兵听到这些话，皆恐惧不安。
    宋军官兵经常当面以“番人”来辱骂燕云汉人，从不将他们看成是同族人，认为他们是“非我族类”。这样的结果是什么呢？燕云汉人无法从宋人这里找到认同，他们必然“其心益贰，俟衅且发”。在后来爆发的宋金战争中，他们纷纷背叛宋朝投降金军，也就不令人感到奇怪了。
    不仅是宋军官兵对燕云汉人态度很不友好，就是宋朝普通老百姓，对燕云汉人也很不尊重，也视他们为“番人”。宋朝朝廷对待燕云汉人的态度其实也很暧昧，既猜忌他们，不信任他们，又想拉拢他们，利用他们。
    在这样的历史背景下，燕云汉人对待宋朝的态度也很复杂。特别是在辽国覆亡之后，他们有的向往宋朝，有的怨恨宋朝，有的刚开始对宋朝抱有希望，但后来看了宋朝政策后则转为失望，乃至绝望。
    其实，无论是常胜军还是义胜军，他们从上到下，从军官到士兵，对宋朝都没有什么深厚感情。他们自认为是辽国人，因为辽国已亡，他们是在万般无奈之下才投靠了宋朝。可是，宋朝人却不断嘲弄他们，侮辱他们，对他们的汉人身份不予认同，这必将导致他们心理失衡，使得他们的立场与观念极不稳定。历史条件造就了他们，他们如同无根的墙头草，只能随风而摇摆。
    然而，令人遗憾的是，宋徽宗与他的大臣们对国际政治缺乏深刻认识。他们竟然花掉大量军费培养常胜军与义胜军，希望依靠常胜军与义胜军这样的军队，来保卫大宋北部边疆。一旦边境爆发战争，主要由燕云汉人组成的义胜军与常胜军，能为宋朝卖命吗？