楊素攻下幷州後，解散了原銳鋒營的人馬，在告別會上，楊素感謝將士浴血奮戰，承諾給予重獎，讓他們回家靜候佳音。然後，楊素率領大軍押解楊諒回京。
在先皇楊堅（隋文帝）後期，朝中大臣高熲、楊素、蘇威三人分攤了朝中的主要職權，這三人都能各司其職，相互制約，其中只有楊素是楊廣繼位的鐵桿支持者，所以在楊廣登基之初，對楊素是言聽計從，再加上楊素在平叛過程中顯露出的超強能力，至此，楊素在朝中的地位已無人能夠抗衡。
楊素得勝還朝後，楊廣爲了彰顯楊素的特殊地位，又升楊素爲尚書令，將都城內的一處皇室的府邸賞賜給他，不久又拜爲太子太師，前後賞賜給他的東西不計其數。
現在，楊廣的異己已經清除，叛亂已經平息，但新的煩惱來了，就是楊素的奏摺引起的，這份奏摺詳細上報了各級將士的功績，以及按例應獲得的賞賜，涿郡崔弘昇所部、和原銳鋒營人員的賞賜尤重。
楊廣知道楊素有三狠，而且朝野聞名：
1、對朝中大臣狠，挑錯不留情面，清流自賞。（無結黨之嫌）
2、對待手下將士狠，軍規苛刻，執行嚴格。（曾有隊長怯戰，斬殺全隊的事例）
3、討要賞賜狠，手下將士每獲戰功，都能得到豐厚獎賞。（前提是能要到錢）
楊廣見到獎賞的數額這麼大就心痛不已，更叫他煩惱的是賞給士兵錢財，只會更加提升楊素的威望。楊廣心想，這場平叛之戰要是自己指揮的該有多好！。
楊廣已經將這份奏摺給內閣成員看了，並提示是否合理、是否有難辦之處，然而無人提出異議，尤其是蘇威，他分管財務，竟然說財政支出無問題。
楊廣終於想出折中方案，同意奏摺，但是，鑑於馬上要修建東都洛陽和修建運河，國庫財政緊張，先折半兌現，以後再補發其餘金額。
楊廣爲什麼要急於修建東都和運河，簡言之，爲了中央集權。洛陽地處隋王朝的中心地帶，在此下達中央指令，比在長安快一天，修建運河後，交通運輸就更加便利了。
另外，楊廣登基以來，每次朝會，自己雖然高高在上，但面對大臣們的奏請，都有先朝舊例可尋，自己除了准奏，無事可做。楊廣憂慮於大權旁落，必須儘快開創自己的事業。
楊廣召開內閣會議，提出立刻修建東都洛陽和修建運河，高熲、楊素、蘇威等都是朝堂的老臣，明白提議的實質是抓權，當然不能反對。蘇威身爲主管財政，考慮到緩解財力和人力的負擔，提出先建運河，再建東都。
楊廣頓時拉下臉來，說道：“先皇開創我朝，勵精圖治，各位大臣勤勉，我朝疆土和人口都遠超歷朝，如此昌盛，怎能說負擔不起。再說，早一天建成東都和運河，就能早日獲利，到時政令暢達，商業繁茂，稅收增加，如此利國利民的大事，豈能拖拖拉拉。”
蘇威被說的啞口無言，只能連連稱是。
楊廣令楊素負責修建東都，高熲負責修建運河---通濟渠（由洛陽到杭州入長江），蘇威提供所需財力，三位務必盡心，爭取早日完工。
三人不敢怠慢，一份份政令從上往下層層傳達，各級府衙立即行動起來，徵用徭役，調配物資，轟轟烈烈大幹起來，楊廣看到眼下的大臣們，都在按照自己的要求忙碌，感到心情舒暢，意氣風發。
605年，楊廣宣佈開創新時代，年號爲大業元年。
楊素全力趕建，不到一年，就將東都建成，楊廣隨即下令遷都洛陽（606年）。
楊廣借遷都之利，開始調整機構，重新任命官員，架空高熲、楊素、蘇威等舊臣。
楊素督建洛陽都城完工後沒多久，眼見楊廣倒行逆施，無力勸阻，不久病倒了，楊素臥病在牀的時候，楊廣常派一些有名的醫生前去診治侍候，然後就問醫生楊素的病情，看似關心，實則盼他早死。
楊素知道自己的名望深受皇帝忌憚，自己不死，所有相關的人都受牽連，自己越早死去，自己以前對楊廣的好，他就忘掉的越少，自己的親朋得到的餘蔭就越多。於是，楊素暗中不再吃藥，僅病了一個多月，就病逝了。
606年（大業一年）8月，楊素病逝，享年
62歲。果然，楊廣追贈楊素爲光祿大夫、太尉公及弘農、河東、絳郡、臨汾、文城、河內、汲郡、長平、上黨、西河等十郡太守，諡號“景武”，賜給他載喪的鍂車、爲他執斑劍的儀仗四十人，以及鍂車前後的儀仗隊和樂隊，還賜給穀子小麥五千石、織物五千段，派鴻臚卿專門監督辦理喪事，並且下詔書表示哀悼。