隋江都留守派校尉宋颢率兵来讨击他，杜伏威在与之交战时佯装不敌败走，把隋军引到芦苇中，然后顺风纵火大败之。
此后杜伏威又兼并了另一支由赵破阵率领的部伍，从此他兵势甚盛力量得到进一步的发展，不久隋将陈稜率精兵八千攻讨杜伏威，结果也是大败而归。
于是杜伏威乘胜攻占高邮、历阳等地，自称总管，又分派诸将四出经略，江、淮间的小股义军也都纷纷归附，于是钟离、庐江、历阳等郡纷纷被杜伏威占据。
这时在江淮和江南实力比较大的除了杜伏威之外还有李子通和沈法兴，另外各地还有其他的造反势力存在，整个隋帝国已经被叛乱搅乱，只需要那么一下就会彻底倒下。
大河以南的义军蓬勃发展，而大河以北的窦建德却在这时被杨义臣和薛世雄联合攻打的接连败退，窦建德率领数万大军一直退到河间郡，终于被两人率领近十万隋军包围在城内。
可是不料就在攻城将破之时，博陵郡的夏军居然突然渡过滹沱水南下，将杨义臣、薛世雄击败，原来窦建德早就跟夏军取得了联系，用大量的条件换来夏军的出手相助。
随后窦建德将河间郡交给了这支夏军，自己则是率军去追击杨义臣、薛世雄所部，窦建德这时还不知道三齐之地的夏军这时也渡河北上夺取了渤海郡，这样涿郡的夏军已经跟三齐夏军占领的地盘彻底接壤了。
且不提夏军，这时兵败逃走的杨义臣和薛世雄两人麾下仅有不到两万众，不过一旦给了他们足够的时间，占据朝廷大义的他们很快就能招募到大量军队，这是窦建德不愿意看到的。
杨义臣与薛世雄两人率败军一直逃到襄国郡才停下来，不等他们喘口气窦建德率领数万大军就追了上了，于是两人继续逃往魏郡，北面的郡县纷纷又投降了窦建德。
这时薛世雄建议退兵回到河东招募大军然后再来攻打窦建德，不过杨义臣却以为大河以北还有上党、长平、魏郡三个郡在隋军手里，而且南滨大河、北阻太行，足可以为天险据守，等到日后反攻也是很重要的基地，最好就地防守。
薛世雄觉得杨义臣的话很有道理，可就在这时河东郡忽然被南下的李渊所部夺取，这下原本还觉得有机会翻本的杨义臣与薛世雄都彻底对隋帝国绝望了，连皇帝的表弟都带头造反了，这根本没得玩嘛！
得知李渊造反攻占整个河东诸郡的消息后，杨义臣决定哪怕是死也要替大隋看好河北这块地，在整理了魏郡、长平、上党三郡的郡兵后，二人所部好歹又有了三四万人，已经堪与窦建德一战。
可这时薛世雄却已经对隋帝国彻底失去了信心，于是在与杨义臣商议不成后，他悄悄率领自己麾下近万人离开魏郡往河东去投奔了李渊。
这下杨义臣的兵力更加薄弱起来，很快就被得知情况后迅速南下的窦建德率大军攻灭，杨义臣兵败身死。
大河以北的隋军彻底败亡，河东又被李渊夺取，接连不断的坏消息让杨广心灰意冷之下也不再关注那些军国大事。
他将东都的一切事物都交给宇文化及处理，他自己则是****饮酒作乐，却不知道自己最信任的大臣宇文化及也开始有了自己的小心思。