雲中府的遼人復叛，是遼人初降復叛的序幕。
在這之後，時不常的就有遼人叛亂。
而且，還不全都是遼人中的契丹人叛亂，溪人、渤海人、甚至漢兒，也叛亂。
漢兒，最初是少數民族對漢人的稱呼，如漢樂府中有詩說：“我是虜家兒，不解漢兒歌。”，唐詩中也有：“漢兒盡作胡兒語，卻向城頭罵漢兒。”的詩句。
最初，“漢兒”這個詞語與漢人同義，並無褒貶意味。
在遼國獲得燕雲十六州之後，特別是在遼國與北宋對峙期間，遼與宋對分屬於兩國境內的漢民的稱呼開始發生了變化。
遼人稱呼宋國境內的漢民爲南人，而稱呼本國境內的漢民爲漢兒。
宋人也稱呼遼國境內的漢民爲漢兒，有時還罵他們爲番人。
總之，遼、宋以及後來的金國，對燕雲地區的漢民都一致稱呼爲漢兒。
這表明漢兒已演變成了一種帶有蔑視口吻的特稱，也反映出了遼、宋和金國都對漢兒很不信任。
而漢兒也由於遼、宋以及後來的金國對他們不信任，不僅在民族認同上日顯孤立，且在政治態度上也沒有固定的傾向，並非趙佶君臣認爲的那樣“心向中原”，而是以利益爲中心，選擇對自己有利的一方，在遼、宋、金之間往來叛附，政治態度非常靈活。
遼彰節度使耿守忠，就是一名漢兒。
在岳飛攻打應州時，耿守忠見岳飛勢大不可敵，便帶着手下將士果斷投降了，之後一直表現得很順從，還幫張憲攻打應州的各個堡寨以及幫張憲清剿應州遼國的抵抗勢力。
可因爲天祚帝最近在遼西弄出來了不小的聲勢，以至於耿守忠等人誤以爲遼國又有救了，所以又紛紛起來反叛。
那次叛亂是有組織有紀律的，耿守忠等人分別從應州、蔚州、新州、武州出發，直奔雲中府殺來。
早已經在各支投降了的遼軍中安插了眼線的軍情司，在第一時間獲悉了叛亂，並將他們的計劃上報給了李衍。
李衍將此事交給韓世忠和岳飛來解決。
韓世忠和岳飛很快就根據軍情司提供的完善情報，做了相應的部署。
耿守忠帶着所部以及他聯繫的各部共七千人馬，剛出應州，就被早已等候多時的張憲截下。
張憲先命其部新成立的馬軍攻了遼軍一陣，缺少馬匹的遼軍被斬首了千餘級。
隨後，張憲親率大軍與耿守忠決戰張憲親率麾下李道軍和王經營，衝入耿守忠的中軍，另外兩營從兩翼用強弩射殺遼軍。
雙方戰了兩個多時辰，遼軍幾被全殲，耿守忠不得已率領不到一百人騎馬向東逃竄。
與此同時，韓世忠、岳飛、王彥、楊沂中軍紛紛出擊，將其餘三萬多遼軍全都剿滅，最後沒有一支遼軍能到達他們之前約定好的聚集點。
雖說遼人的叛亂都是徒勞的，但因爲不斷有遼人叛亂，以至於李衍始終不能將在武州和新州徘徊的完顏宗翰和完顏希尹兩部攆出雲地倒不是李衍沒有這個實力，而是李助等人建議李衍，不能同時跟遼人開戰，又跟金人開戰，這樣很可能會出現收尾難兩顧的局面，李衍深以爲然，纔沒跟不斷派使者來商談的金人開戰。
後來，許貫忠和樂和帶着劉敏軍、房學度軍、李懹軍以及方臘義軍的頭頭腦腦和那近十萬方臘義軍精銳進入了雲地。
這時，遼人的叛亂基本上已經完全被鎮壓了。
不過李衍又遇到了新的麻煩妥善安置方臘義軍。
李衍先是下令，從解煩軍、韓世忠軍、岳飛軍、吳玠軍、劉錡軍、張憲軍、王彥軍、劉敏軍、房學度軍、李懹軍各抽出一都精銳共三千人，以他們爲骨架再組一軍，由方七佛任代統制，張顯、王俊、解元、呂師囊任代統領各統帶一營，王勝任統領統帶方七佛軍所轄的馬軍。
從新組建的方七佛軍不難看出，李衍準備給各軍擴編，也就是一軍由四營步軍和三千馬軍組成。
這也是沒有辦法的事。
首先，李衍不能放着近十萬精銳不用，這也太浪費了，而且擱置久了定會生出變故。
其次，三營步軍，有時候實在是拉不開架勢，無法打大仗。
再次，李衍得妥善安置得自方臘的司行方、厲天閏、方傑、龐萬春、呂師囊、俞道安、裘日新、胡三、祝四等將。
至於爲甚麼不多成立幾軍，則是因爲沒必要，十二支步軍已經足夠用了，至少目前足夠用了，而且李衍手下也沒有那麼多能帶一軍的將領。
這麼一擴軍，近十萬方臘義軍精銳頓時就被李衍消化了一半，剩下的暫時充當民夫，同時繼續接受基礎訓練和政治教育。
擴軍了之後，李衍共有：
步軍十一個軍，分別是：解煩軍，韓世忠軍，岳飛軍，吳玠軍，劉錡軍，張憲軍，王彥軍，劉敏軍，房學度軍，李懹軍，方七佛軍，每軍一萬三千人左右，共約十五萬人。
馬軍十七個軍，分別是：第一營，解煩馬軍，鐵浮屠，柺子左軍，柺子右軍，契丹軍統帶，渤海軍統帶，溪軍統帶，以及分散在岳飛軍等十支步軍中的十支馬軍，共有五萬人左右、七八萬匹戰馬。
再加上踏白軍、奏報機密特種軍、神機軍、兩棲軍等特種軍，以及參謀部、政治部、情報部、醫務軍、通訊軍等特殊部門。
李衍現在共有二十四萬正規軍。
同時，李衍還有六七萬精銳預備役。
另外，李衍還在雲地募兵，準備再招募三萬馬軍預備役。
可以說，李衍如今是兵強馬壯，如果不考慮宋國、遼國、西夏、高麗等國以及蒙古諸部，李衍都可以跟金國一決雌雄了，畢竟現在的金國撐死了也就二十多萬人馬，而且其中還得有一大半是契丹兵、渤海兵、溪兵、漢兵等雜兵。
宣和四年四月底，天祚帝糾集了四萬蒙古大軍並三萬西夏大軍出了夾山，越過漁陽嶺，直奔天德軍而來