此时，国子祭酒凌敬献策：“宜悉兵济河，攻取怀州(治河内，今河南沁阳)河阳(今河南孟县南)，使重将居守。更率众鸣鼓建旗，逾太行，入上党(今山西长治)，先声后实，传檄而定。渐趋壶口，稍骇蒲津(今陕西大荔东)，收河东之地，此策之上也。行此必有三利：一则入无人之境，师有万全；二则拓土得兵；三则郑围自解”(《旧唐书·窦建德列传》)。这本是个非常好的建议，窦建德也本想接受这个意见，但其部将多接受王世充使者贿赂而主张救援洛阳，便说：“凌敬，书生耳，岂可与言战乎？”窦建德只好对凌敬说：“今众心甚锐，此天赞我矣。因此决战，必将大捷。已依众议，不得从公言也”(《旧唐书·窦建德列传》)。凌敬却坚持己见，窦建德反而大怒，将凌敬怒斥出去。这时，窦建德的夫人曹氏又向建德说：“祭酒之言可从，大王何不纳也？请自滏口之道，乘唐国之虚，连营渐进，以取山北，又因突厥西抄关中，唐必还师以自救，此则郑围解矣。今顿兵武牢之下，日月淹久，徒为自苦，事恐无功。”窦建德却说：“此非女子所知也。且郑国悬命朝暮，以待吾来，既许救之，岂可见难而退，示天下以不信也”(《旧唐书·窦建德列传》)？窦建德一心决战，再也听不进别人的劝告。

     窦建德欲乘唐军草料将尽，牧马河北之机袭击虎牢。结果此计为李世民所知，李世民便将计就计，于五月初一率兵一部过河，从南面逼进广武，观察窦军形势，留马千余匹在河中沙洲放牧，以诱窦建德出击。次日，窦建德果然全部自板渚(今荥阳北黄河南岸)西出，在汜水东岸布阵，北依大河，南连鹊山(今河南荥阳西南)，正面宽达20里，擂鼓挑战。李世民率军在汜水西岸列阵相持，登高嘹望，然后对部部说：“贼起山东，未尝见大敌，今度险士嚣，令不肃也；逼城而阵，有轻我心。待其饥，破之果矣”(《新唐书·窦建德列传》)。于是决定按兵不动，另派小部队与窦建德军周旋，同时派人将留在河北的人马召回，待窦建德军气衰，再一举将其击破。    

     时至中午，窦建德军士卒饥疲思归，皆坐列，又争抢喝水，秩序紊乱。此时，李世民突然发起进攻，命宇文士及带300骑兵经窦建德军阵西而南，先行试阵，并告诫他说：窦建德军如严整不动，即应回军，如阵势有动，则可引兵东进。宇文士及部经窦军阵前时，窦军阵势果然动乱。李世民见时机成熟，遂下令出击，亲率轻骑冲锋，主力继进，东涉汜水，直扑窦军大营。此时窦建德君臣正在议事，唐军突临。窦建德军未及列阵抵抗，仓猝应战，被迫东退。唐将窦抗率部紧迫，被窦建德军顽强击退。李世民见进攻不利，便率骁将史大奈、程知节、秦叔宝、宇文歆等精锐突入其阵，从阵后展唐旗。窦建德军士卒以为大营被占，迅速崩溃，唐军追击30里，窦建德军被斩首3000余级，5万人被俘。乱军中，窦建德中槊(一说中枪)受伤，退至牛口渚，唐车骑将军白士让、杨武威追至，窦建德于慌乱中坠马，白士让举槊欲刺，窦建德忙说：“勿杀我，我夏王也，能富贵汝”(《资治通鉴·卷第一百八十九》)。杨武威下马将窦建德抓获。窦建德兵败之前，军营中就有童谣唱道：“豆人牛口，势不得久”(《旧唐书·窦建德列传》)。窦建德行至牛口渚，甚恶之，不料后日果真如此。窦建德被俘后，唐军主力回师洛阳，王世充见大势已去，想突围南走襄阳，但诸将已无斗志，被迫于五月初九率太子、群臣等2000余人投降。