同仇敌忾的临汾隋军说到做到，在守城战里让被迫攻坚的窦建德军吃了大苦头，凭借着壕沟、栅栏鹿角和羊马墙等外围工事保护，决心复仇正名的秦琼指挥隋军将士依托工事顽强抵抗，灵活作战，远近武器搭配得当，杀得冲击隋军工事的窦李联军鬼哭狼嚎，尸横满地，太原军偏师主将殷开山也在激战中被流矢射伤，差点送命，攻城战的第一天，窦李联军竟然都没有一名士兵能够冲过临汾的护城河。
欢呼胜利的临汾守军还是小看了一些王伏宝，见隋军在第一天的战事中敢于出城依托工事而战，王伏宝料定隋军在第二天必然还要出城，便挑选了一百名精锐勇士，命他们在夜间潜伏到临汾城下，借尸体、泥土、壕沟和攻城武器残骸掩护，埋伏在了隋军外围工事的壕沟之中，次日天色才刚微明，王伏宝就再次出兵攻打临汾的外围工事。
隋军果然上当，不甘让秦琼独美的霍世举派遣部下裴海良率军一千出城，效仿秦琼依托工事作战，谁知隋军刚抵达工事外围，王伏宝的伏兵就突然暴起杀出，当场砍死裴海良，隋军大乱败走，王伏宝乘机挥军掩杀，一举捣毁隋军在护城河外的三道鹿角壕沟防线，发起突袭的王伏宝部下还差点就势杀入城内，逼得霍世举被迫放弃上百名尚未回城的隋军将士就赶紧关上了城门，未及回城的隋军将士被杀多人，被俘超过八十人。
王伏宝接下来的举措又让霍世举和秦琼等人有些目瞪口呆，抓到了八十多名隋军俘虏后，王伏宝只是收缴了他们的武器盔甲，就当场把他们释放回城，还让他们把裴海良的尸体也给带回了城内，并且让这些隋军俘虏充当免费宣传员，说是只要在阵上投降的隋军将士，自军绝不杀害还一律当场释放，借以打击临汾隋军的抵抗决心。霍世举和秦琼等人大骂王伏宝卑鄙之余，也难免有些佩服王伏宝的胆色和魄力。
王伏宝的辉煌也就是到此为止，即便是成功捣毁了隋军在护城河外的外围工事也一样，又深又宽的护城河与高耸的城墙永远都是攻城军队的噩梦，那怕王伏宝常年跟着窦建德靠攻城掠地吃饭，攻城战经验丰富，也起不了多少作用。不算什么名将的霍世举是一个中规中矩的合格将领，扬名后世的秦琼因为轻敌和力量不足接连在王伏宝面前吃亏，也仍然还是敢打敢冲尤其擅长打硬仗的勇将猛将，在这样的敌人和极度不利的地形面前，王伏宝再没有任何投机取巧和出奇制胜的机会，只能是老老实实的用虾蟆车填河，以投石机和守军对轰。
更糟糕的是，当王伏宝率领麾下将士辛辛苦苦好不容易填平了一小段护城河的时候，四月十八这天，曹大舅子也带着后军来到了临汾战场上，与前军会师后，曹大舅子第一件事就是收缴了王伏宝的大部分兵权，出示窦建德手令让董康买等将领直接听令于他，任命王伏宝为先锋，实际上只让王伏宝指挥两千多军队，还把他的小舅子安插进了王伏宝营中担任监军，严密监视王伏宝的一举一动。
董康买等部本就是临时听令于王伏宝，窦建德让曹大舅子把兵权收回去王伏宝可以忍，曹大舅子后营中出现了几名太原口音的美女，王伏宝也可以装做不说话，但是曹大舅子要求第二天就发起蚁附攻城这点，王伏宝就无论如何都不能忍耐了，抗议道：“曹大帅，我军才刚刚填平不到十丈的护城河，云梯车和冲城车这些攻城武器还很难靠上临汾城，这时候发起蚁附攻城，是拿将士的性命当儿戏！”
“没有云梯车和冲城车，难道就不能攻城了？”曹大舅子冷笑问道：“当初王将军你攻打信都郡治长乐城的时候，不但没来得及填塞护城河，连飞梯都只有十来架，还不是照样拿下了长乐城？打长乐可以，为什么打临汾就不行？”
“长乐那一仗是因为敌人还来得及严密布防，连守军都还没来得及全部登城。”王伏宝解释道：“我见有机可乘，这才冒险强攻，运气好才拿下长乐城。现在陈贼军队已经在临汾严密布防，军队在城墙上昼夜守卫，已经不可能出奇制胜，只能是一步一步来，先彻底打开我军攻城武器直抵城下的道路，捣毁敌人在护城河内侧的鹿角和羊马墙，然后我们再发起正面进攻，才有希望破城！”
砰一声，曹大舅子重重一巴掌拍到了面前的案几上，咆哮道：“一步一步来？我们还有时间么？陈贼主力随时都有可能出兵临汾，还有可能先行派遣援军北上，我们还有多少时间准备攻城？再说了，如果不是你抗拒大王钧旨，我们岂不是早就已经彻底填平临汾护城河了？还用等到现在？”
咆哮着，曹大舅子又是一巴掌拍在了面前的案几上，怒吼道：“明日蚁附攻城！这是军令，违令者，立斩不赦！”
无可奈何的低下了头，招架不住曹大舅子的一再逼迫，王伏宝只能是乖乖抱拳领命，告辞下去准备作战。看到王伏宝黯然离去的颓废模样，就连带伤前来迎接曹大舅子的太原军大将殷开山都有些心中不忍，但是事关自军存亡大计，殷开山却无法为王伏宝辩解一字半句，还必须得按照李家兄弟的交代，邀请曹大舅子过营赴宴，以美酒佳肴热情款待曹大舅子，并且召来美貌侍女，给曹大舅子陪酒陪饭陪睡。
次日清晨