613年初，楊廣二徵高句麗，再次大規模徵調民夫，格謙的許多夥計不堪負擔，求助於格謙，格謙是講義氣的大哥，不肯撇下多年的夥計們不管，與高開道等親信商議，決定舉兵造反，不再受官府的鳥氣了。在格謙的家鄉豆子崗地區，到處都是大大小小的滷鹽池，還有大片大片的鹽鹼窪地，地域廣闊複雜。格謙造反隊伍就以此地爲根據地，高開道驍勇被封爲大將軍。官府屢次進剿，都被殺的大敗。
附近逃亡的流民爭相前來投靠，格謙憑着多年當鹽商大佬的經驗，在起義軍中實行的“等身制”，所有新來投軍的人都身份平等，只要有戰功，就能獲得提升，十夫長、百夫長、團長（管轄三百人）、旅長（管轄一千人）、將軍（管轄數千人），士兵也可以做到將軍。由於格謙運籌得當，造反不到一年時間，就發展到上萬人，在各路造反勢力中，成爲聲勢較大的一股。
格謙擊敗官軍屢次進剿後，開始離開豆子崗，向外擴張，格謙的兵力還不足以進攻渤海郡這樣的大城，而是進攻下屬縣鄉，趕跑當地官員，取代官府向大戶人家收費，致使渤海郡、河間郡、平原郡等地的多個縣鄉脫離了官府的控制。
有一次格謙領兵輕敵冒進，被隋軍包圍，其餘部衆不敢救援，高開道隻身騎馬挺槍殺入重圍，連殺數十名隋兵，高開道見格謙戰馬中箭身亡，高開道將戰馬讓與格謙，自己步戰，矯捷勇悍，奔跑速度不輸奔馬，護衛格謙殺出重圍。從此，高開道悍勇之名傳遍河北山東。
613年三月，孟海公在周橋聚衆起義，短期內就聚衆數千人，在曹、戴二州的縣鄉（即今山東曹縣、成武、定陶一帶）活動。
單雄信，曹州濟陰（今山東菏澤市曹縣西北）人，勇武絕倫，是當地大戶，也是山東綠林瓢把子，往年河北、河南的多起官銀被劫案件就是以單雄信爲首的江湖豪傑做的。
徐世勣比單雄信小六七歲，曹州離狐（今山東省菏澤市東明縣）人，父親是商業巨賈，家中僅僮僕就有十多人。徐世勣從小聰穎頑劣，喜武好鬥，與單雄信是摯交。徐世勣年少時就顯示出過人謀略，單雄信做的許多大案就是他策劃的。
這日，徐世勣與單雄信相商，說道：“孟海公本來就是個衙役，咱們看不上眼的人物，如今竟然成爲咱們這一帶的頭面人物了。”
單雄信說道：“他人多咋了，諒他也不敢騷擾你我之家。”
徐世勣說道：“我父親已攜帶大部分財產搬遷了，官軍早晚會前來進剿孟海公，到時你我不可能幫助官軍剿殺鄉親，必然不被官府所容，不如早做打算。我看當今各路義軍中，翟讓佔領的瓦崗山地勢最好，咱們變賣家當，與他合夥如何？”
單雄信說道：“我也多有聽說，此人頗講義氣，當今天下大亂，再不造反，你我就落伍了，就按你的主意辦。”
於是，單雄信和徐世勣變賣家產，招募了數百人，投奔翟讓。
翟讓見單雄信攜帶大量財物前來投奔，當然大喜，也知道單雄信是江湖上的頭面人物，允許單雄信的人馬相對獨立，單雄信等人也尊翟讓爲大當家。
江湖上的許多綠林人士，如：王伯當、牛進達等人聞之，也前來投靠。
徐世勣爲翟讓出謀，說道：“咱們瓦崗山下南邊是大運河的通濟渠，西面是永濟渠，以往都是搶一單就跑，現在咱們的實力強大了，不如直接設卡收費，可爲咱們常年提供收入。”
翟讓贊同。徐世勣還大力整修瓦崗寨，增強防禦能力，親自訓練士卒，使得瓦崗軍成爲所有農民起義軍中，最訓練有素的部隊。徐世勣是瓦崗軍中年齡最小的頭領，此時年僅十七歲，但儼然已經成爲瓦崗軍運作的大腦。
楊玄感造反失敗後，李密四處潛逃。瓦崗軍的王伯當與李密是舊識，將其引薦給翟讓，加入了瓦崗軍。
李密以大隋天下羣雄逐鹿爲視角，對當前形勢侃侃而談，使得徐世勣眼前一亮，如撥雲見日一般。徐世勣雖然讀書識字，但從未接觸過廟堂之事，故視李密爲大才。
竇建德，東漢大司空竇融17世孫，遼東宣王竇拓玄孫，家道落敗，搬遷到貝州漳南（今河北故城縣），尚豪俠，爲鄉里敬重。
竇建德年輕時，把履行諾言看得很重。曾經有個同鄉死了父母，家境貧寒無力安葬，當時竇建德正在耕田，聽到後直嘆氣，立即放下農活，主動送去辦理喪事所需要的全部財物，因此深受鄉親們稱讚。原先，他當過里長，因犯法逃出去了，碰到朝廷大赦天下才回家。他父親去世，送葬的有一千多人，凡是有人送禮，一概辭謝而不接受。
同縣人孫安祖驍勇，與竇建德爲友，爲逃避兵役投奔竇建德，竇建德對他說：“文帝在位時，天下富裕興旺，派出百萬人馬征討遼東，尚且被高句麗打敗。今年發生水災，百姓貧困，但皇上不體恤民情，要親自到遼東督戰，加上往年開挖河渠，損傷的元氣還沒有恢復，百姓疲勞困乏，連年征戰，長年在外的人不能回家，如今又要出兵，容易釀成動亂。男子漢大丈夫只要不死，就該建功立業，怎能萎靡不振。
我熟悉高雞泊，面積遼闊方圓幾百裏，湖沼上的蒲草又密又深，可以到那裏去隱藏起來，找機會出來搶劫，足夠生活、積蓄，拉起人馬以後，等待時局動盪，必然幹出一番驚天動地的大事業。”
孫安祖贊同他的計劃，在高雞泊內建立了據點。
此後凡是要逃避徵兵和徭役的人，竇建德都介紹投奔孫安祖。孫安祖自稱將軍，手下發展到數百人。
鄃縣人張金稱也邀集了上百人做強盜，在黃河的險要水域搶劫活動。
在高雞泊內的另一股義軍首領高士達，與竇建德也是好友。
郡裏官兵發現高雞泊的反賊四處搶掠，惟獨不到竇建德的家鄉騷擾。因此斷定竇建德跟盜匪們相互勾結，就前來拘捕竇建德，恰好那時他不在家，就將他的家屬，不論老少都殺掉了。竇建德聽到他全家已被殺光，率領他手下的兩百人投靠了高士達。高士達自稱東海公，任命竇建德爲司兵。後來孫安祖被張金稱殺掉，他的幾千名士卒又全部投奔竇建德，從此逐漸壯大，隊伍發展到一萬多人，還是在高雞泊一帶活動。竇建德往往拿出身上的所有財物接濟別人，跟士卒一樣喫苦耐勞，因此能激發人們爲他拼命。