苏威的儿子苏夔，年少时就有盛名于天下，招引门客，天下的名士大多附和于他，因为讨论音乐的问题，苏夔与国子博士何妥都坚持自己的观点，各成一家之言，于是朝廷让文武百官表示他们赞同哪一种意见。朝臣大多依附苏威，赞同苏夔的占了十分之八九，何妥愤怒说：“我读书四十多年，反被一个毛头小儿所屈辱！”于是，奏告苏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等人一起结成朋党，在官衙中称呼王弘为世子，称李同和为小叔，意思是他们就如同苏威的儿子和兄弟，又说苏威用不正当手段让他的堂兄弟苏彻、苏肃等人作假当官，还有国子学请荡阴人王孝逸为书学博士，苏威的下属卢恺，引荐王孝逸做苏威府中的参军。
隋文帝命蜀王杨秀、上柱国虞庆则等人全面调查，所指控诸事皆被证明。于是，隋文帝让苏威阅读《宋书·谢晦传》中朋党事件的部分，苏威惶恐畏惧，摘下帽子叩首，隋文帝说：“已经晚了。”于是免去苏威所有的官职，以开府的身份放还家中，知名之士中有一百多人受到苏威的牵连而获罪。不久，隋文帝说：“苏威是有德行的人，只是被人牵连了。”让他恢复官职，恢复了邳国公的爵位，担任纳言。
苏威随从天子祭祀泰山，因为不敬又一次被免官，但是很快官复原职，隋文帝对群臣说：“人们说苏威伪装清廉，其实家中金银无数，这是毫无根据的瞎话。但他生性乖僻，不明白世事关键，追求名声太急切，顺从他的就喜欢，违背他的就发怒，这是他的大缺点。”苏威奉命持节巡抚江南，可以随机处置事务，过会稽时，翻越了五岭才回到京城。突厥都蓝可汗经常制造边患，朝廷于是派苏威前往可汗驻地，与他们缔结和亲盟约，可汗派遣使臣来京贡献地方特产。苏威因为劳苦功高，晋位大将军。开皇末期，应召与杨素、牛弘、薛道衡、许善心、虞世基、崔子发等人召集儒生，辩论新的礼仪并制定杀伐的量刑轻重。
隋文帝去仁寿宫，命苏威总理京城事务，等到隋文帝回到京城，御史弹劾苏威多数职务内的工作没有做好，请求审问，隋文帝发怒斥责苏威，苏威拜求告罪，隋文帝也不再追究。蜀王杨秀获罪，隋文帝下令杨素、苏威、牛弘、柳述、赵绰共同审理此案。
天子兴修长城，苏威劝告隋炀帝停止大兴劳役，高熲、贺若弼等被杀，苏威因受株连，被免去官职，过了一年多，又任鲁郡太守，不久召他还京，参预朝政。这年随隋炀帝征讨吐谷浑，升任左光禄大夫，因为苏威是前朝旧臣，逐渐委以重用，一年多后，恢复纳言官职。与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，当时称他们为“五贵”。
到辽东之役时，苏威以本职兼任左武卫大将军，升任光禄大夫，赐宁陵侯爵位，这一年，晋封房公。苏威因自己年老，上表请求退休，隋炀帝不允许，又让他以本官兼掌选举之事，第二年，随隋炀帝征讨辽东，任右御卫大将军。
杨玄感造反，隋炀帝把苏威请到军帐中，面有惧怕之色，对苏威说：“这个小孩很聪明，怎能不成为国家的忧患呢？”苏威说：“那些明辨是非、审视成功的人，才是聪明人。杨玄感粗鄙简单，不是聪明人，不必为他忧虑。但是这恐怕会成为出现祸乱的开头。”苏威见天下劳役不息，百姓思乱，略微用这些话讽喻隋炀帝，隋炀帝却并不因此领悟。
隋炀帝回到涿郡，下诏苏威安抚关中，任命苏威的孙子尚辇直长苏儇为副使，他的儿子鸿胪少卿苏夔，之前担任关中主管人事任命的重要官职，一家三人，都奉命出使关中，关中三辅的人都引以为荣。隋炀帝亲下手诏说：“玉石因为光洁玉润，涂描不能改变它的性质，松挺拔于寒冬，霜雪不能减弱它的光彩，这就是所谓的温仁与劲直，这是本性如此吧。房国公苏威，气质襟怀温良宽宏，见识博雅气度宏大，早年在朝廷中担任重要职位，熟悉国家的典章制度，是先皇帝的旧臣，朝廷的老前辈。他是国家的栋梁，辅佐我十分辛勤，遵守法律法规，自谦以遵守礼仪。过去汉朝有三杰，辅佐惠帝的是萧何。周朝有治理能臣十人，辅佐成王的是邵公奭。国家的宝贝，在于得到贤人，参预治理国家，他们是星光和台阶，可供人们作为依据。虽有涉及争论的事情，最终总会澄清，衡量时事事物，仍为朝廷为要，可让他任开府仪同三司，其余官爵不变。”苏威当时被尊重的程度，大臣中无人可与他相比。
隋炀帝巡幸雁门，被突厥包围，情况十分危急，想以轻骑突破重围出去，苏威劝告说：“守住城池我们有余力，轻骑突进是敌方所擅长，陛下是万乘之主，怎能轻易冒进？”炀帝于是作罢，所幸突厥不久也解围离去。隋炀帝车驾到太原，苏威对他说：“盗贼不止，士兵马匹极度疲惫，希望陛下回到京城，巩固朝廷加强国力，谋划朝廷社稷大事。”隋炀帝本来认可他的意见，最后却又听从宇文述等人的提议，去了东都洛阳。
天下大乱，苏威知道隋炀帝不可改变，心中很担忧