约莫半个时辰后，李渊便借令箭和高君雅亲兵的口，将高君雅的几名部将以召开紧急军事会义为名，召到了自己府中。然后用事先埋伏的亲兵将他们全部抓捕。
在进行了一番威逼利诱，特别是李渊表态自己已经掌握了他们的家属安危之后。高君雅的这些部将均屈服了。
李渊大喜过望，随即派自己的将领接管了高君雅的军队，然后将其打散重编。
而他在牢牢掌握军权之后，便以高君雅私通突厥为名，将其公开斩首示众。
随即，担任晋阳宫监的裴寂也以剿匪急缺物资为由，强令晋阳宫守军打开府库，将宫内的铠甲、武器和粮食取出，提供给了太原留守李渊。
而这些物资数量不少，共计有兵甲二十万套，粮食百余万石，铜钱和帐篷、武器等不计其数。
李渊在得到晋阳宫的物资后，立刻便向河东各郡招募兵将，一时之间募者如云。短短二十天内，他便募集到了六万余人，加上之前秘密扩招的郡兵，李渊手下的兵力已经接近二十万。可谓兵多将广，钱粮富集。
他这时自号大将军，以裴寂为长史、刘文静为司马，张宝德为录事参军，盛彦师、段志玄为鹰扬郎将、侯君集、王君廓为军中统领。
李渊又封长子李建成为骠骑大将军，兼左军统制，封次子李世民为天策将军，兼右军统制，二人各统军三万，皆准许其召募幕僚。而四子李元吉则为太原太守，率五万新兵留守晋阳宫。
大业十三年三月初，李渊便起大军十五万，由他亲自率领，兵分两路，向关中进军。正式拉开了李渊起兵反隋的序幕。
在李渊造反之后，各地豪强皆纷纷起事。
宇文明的父亲宇文化及，早已蚕伏在江南多日。如今见时机已到，也立刻起兵。他自称许王，立长子宇文成都为世子。率领早已准备好的人马，兵分三路向吴郡、会稽、建康等郡发起进攻。
宇文成都手中凤翅流金镗无人能敌，吴郡太守在战场上被他一镗击毙。而会稽、建康等郡也在宇文士及和宇文智及的进攻下，战败投降。许军瞬息之间便席卷了长江以南的江东之地，直逼江都。
四月，陇西的薜举、西凉的李轨、朔方的梁师都皆起兵反隋。
薛举和他的儿子薜仁杲，将郡县官员监禁起来，并开仓赈济百姓。薜举自称西秦霸王，改年号秦兴。他封长子薛仁杲为齐公，幼子薛仁越为晋公，贼帅宗罗率部众归附了他，被封为义兴公。岷山羌人酋长钟利俗率领部众二万人归附薛举，让薛举兵势大振。
不久之后，他改封薛仁杲为齐王，领东道行军元帅之衔；薛仁越为晋王，兼任河州刺史；宗罗为兴王，作薛仁果的副将。薛举分兵攻掠土地，攻取了西平、浇河二郡。如此一来，陇西皆为薛举占有，他拥有部众达十三万。
在西凉的李轨得知薜举起兵反隋之后，便与同郡官员关谨、梁硕、李贇、安修仁等人商议道：“薛举残暴凶悍，其兵必来侵扰。今应同心尽力，占据河右，以观天下变化，岂能束手让妻子儿女为人所掠呢！”
西凉众官员皆同意这个计划，议定一同举兵，然而无人敢任首领。
曹珍说：“我闻知谶语说，李氏当称王于天下。如今李轨大人有贤能，岂非天意吗！”于是共同降阶拜见以听命李轨。
安修仁在夜间率领胡人进入内苑城中，树旗大呼，李轨集聚众人加以响应，收捕虎贲郎将谢统师、郡丞韦士政，于是自称河西大凉王，署置官属，全都依照开皇旧例。