这时唐军围攻洛阳，哪怕有火药武器的帮助也因为洛阳城墙厚达五丈，李唐制造的低劣火药根本无法将其炸塌，洛阳城的久攻不下让李唐将士多疲惫欲归，李渊亦有休兵之意，但李世民却不同意。
此时面对窦建德的前来，多数人认为‘吾兵疲老，世充凭守坚城，未易猝拔，建德席地而来，锋锐气盛。吾腹背受敌，非完策也’主张退兵新安，以承其弊。
但是大将郭孝恪反对撤兵，他认为‘世充穷蹙，垂将面傅，建德远来助之，此天意欲两亡之也。宜据武牢之险以拒之，伺间而动，破之必矣！’
薛收也赞同此意见，并进一步补充了郭孝恪的意见，如今李唐政权面对的不仅仅是窦建德和王世充，更要在接下来面对最强大的夏国，只有尽快统一天才能在日后与夏国的战争中保持一定的抵抗力。
李世民很赞同郭孝恪和薛收的分析和建议，针对萧瑀等大将的反对意见，明确决断与窦建德大军继续作战。
于是他中分麾下，令齐王李元吉围守洛阳，他亲率精兵三千五百人东进虎牢。
到虎牢后，世民带人侦察窦建德军情，沿途将五百骑分别埋伏道旁，仅带尉迟敬德等四名勇将跟随。
在距窦建德军营三里处时几人却被对方发现，窦建德大将派出五千余骑兵追击，李世民等人迅速撤退把他们引入伏击圈内，周围唐军齐出大败敌军，斩首三百余级，这就极大的巩固了唐军的士气。
建德率兵西来，被唐军阻击于虎牢关近月余，几次交战又都失利，将士接连受到挫折之下开始思归，唐军又派轻兵拦截了他的军粮，不断袭扰窦建德的后方粮道。
面对这种形势，他召集将士讨论用兵之策，凌敬劝说窦建德大王先攻取大河以北的怀州、河阳，派遣大将驻守，然后翻越太行山脉攻入上党，迅速夺取李唐在河东汾河故地的汾、晋等地，然后再夺取蒲津威胁关中之地。
凌敬的计谋也是很好，不过王世充连连派人向建德求救哀求催促他发兵，窦建德麾下诸将也觉得自己的兵力远远超过唐军，心中有了轻敌的心思都主张与唐军决战。
虽然建德夫人曹氏也劝他要听从凌敬的建议，但建德不予理会，依然决定率大军与唐作正面交锋。
经过一番侦察后窦建德计划在唐军马料用尽，放马于河北之际袭击虎牢关。
这一消息却为李世民所知，五月李世民北渡河，南临广武，故意放马于河边以引诱对方，然后他自己却在当夜紧急赶回虎牢关。
第二天，中计的窦建德果然率全军来攻打虎牢关，李世民坚壁不出，窦建德布好战阵等了两个时辰，士卒饥疲之下都坐下来休息，因为天气炎热又争着去喝水漫无纪律。
就在这时李世民乘窦建德军散乱之机率众出战，直扑其阵。
而窦建德这时正在接见群臣，唐骑兵突然杀到，大臣们都向窦建德奔去，窦建德命骑兵应战，并命挡路的大臣们退开，就在这进退之间，唐军已经杀到了眼前，窦建德只得退到东边的山坡。
此时，两军恶战，李世民亲自率几员大将卷着唐军战旗突进到窦建德军阵的后面，然后打开旗帜。
正在激烈交战的窦建德军以为自己后方军阵已溃，于是全军大败，窦建德也在战乱中被擒。