其七，高智慧自号东 扬州 刺史，船舰千余，屯据要害，声势甚壮。
其八，汪文进自称天子，据东阳，以其徒蔡道人为司空，守乐自卫。
其九，王国庆据泉州，杀刺史刘弘为乱。
其十，沈孝彻割据永嘉。
其他如江南人李积等聚众反隋，多则数万，少亦数千，到处杀害长吏，共相呼应，局势大乱。
隋文帝乃以杨素为行军总管，率师讨之。素首先率舟师入杨子津，进击朱莫问，一举破之，俘虏三千余人。次击无锡叶略，亦平之。又次，进击围攻苏州的沈玄、沈杰。援助皇甫绩，玄不敌，遁南沙，依陆孟孙。杨素挥兵追之，又获大捷，生擒陆孟孙，又破沈雪、沈能于歙。诸叛乱者的实力，以高智慧为最强，杨素进击之，自晨至晚，经过一番苦战，始克破之，但高智慧本人，仍得免脱，遁入海中，杨素也自余姚入海追击之，分兵趋永嘉。高智慧迎战，大败，其部被俘者数千人，但高智慧仍遁走。杨素鉴于汪文进在东阳，后方堪虞，乃先破东阳，再向永嘉进兵，破沈孝彻，步兵由天台指临海，追捕逸寇，而高智慧已向闽方逃走，方欲蹑踪追击，而文帝以杨素久战于外，驰召还京，慰问备至，赏赍更厚，当时赐彩物三千段，并加封其子玄感为上开府。这还是急急召还韩擒虎的故智，以渴望一见杨素为名，而防制其兵力增强，地域增广，将对隋廷不利耳。
但是杨素闻召即归，表示并无异心，故仍以余寇未靖，请再出师。隋文帝在这一试探性的政策中，知杨素并无不忠之心，乃下诏给杨素说： 朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵，犹有贼首凶魅，逃亡山洞，恐其聚结，重扰苍生，内史令上柱国越国公素，识远古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶，军民事务，一以委之。由此可知隋文帝并不是不需平闽乱的，其召杨素在进军中返京，实属试探性质。文帝对统军将帅之多疑，这又是一项事实的证明。
高智慧之逃入闽中，实依王国庆。国庆本泉州豪族，自杀刺史，诸亡命者多归之。但是这个人并无远见，自以为泉处东南，路途辽远，非由海道不能至，而北人不习航海，可以高枕无忧，不作防备，而不知杨素是统有强大的船舰，而且以此而统一长江中游的。
杨素既受命重行出征，他首先驰至会稽（绍兴），调集水师，掩至泉州，大出王国庆的意外，以致手足无措，弃泉而遁，所部星散，或遁据海岛，或栖身岩洞。杨素一面遣兵分水陆两路，追捕余党；一面遣人密告王国庆：“尔之罪状，计不容诛，唯有斩送智慧，可以塞责。”国庆乃执高智慧献于杨素，素即斩于泉州。国庆支党亦纷纷来降，闽乱乃平。捷报到京，文帝特派左领军将军独孤陀至俊仪迎素。素还京，还是每日必有慰问，拜素子玄感为仪同，赐黄金四十斤，并赐银瓶，瓶中皆实以金钱，缣三千段，马二百匹，羊二千头，公田百顷，宅第一区。杨素除成为大贵巨富外，其家并可成为羊马市了。
杨素建此大功而还都，既荣且贵，朝臣巴结他，自然不在话下。但是杨素胸有成竹，高下自在心中，不露于形色。其时朝政大权，是在苏威与高颎手中。苏威担任的是尚书右仆射，高颎担任的是尚书左仆射。杨素在朝臣中，推崇高颎，敬事牛弘，厚结薛道衡，蔑视苏威，并陵其他朝贵，自以为才艺风调，优于高颎，实际上推诚体国，处事平当，有宰相气度者，素实不如高颎远甚，杨素此时，便有小人得志的气概。
文帝为了宠信杨素，特别命他监造仁寿宫。杨素乘此机会，表示他对文帝的“忠心”，夷山填谷，役使百姓甚众，而他求功心切，督责极严，从役百姓，死者颇多，致宫侧时闻鬼哭之声。宫成，文帝令高颎检视，高颎向文帝报告：“颇伤绮丽，大损人丁。”即此一点，可知高颎是真正忠于隋室而不是邀功取宠之人。文帝闻之，大不高兴，素因而生畏，恐遭谴责，乃特别求见独孤皇后，陈说他的理由，是“帝王法有离宫别馆，今天下太平，造此一宫，何足损费”。独孤皇后为向文帝解释，文帝怒意始消。由此可知，这个人还是善走后门的。文帝听了独孤皇后的一席话，还赐他钱百万缗、绢二千匹，文帝处事的没有原则，此为一例。
不过，杨素在军事方面，却也有他一套。开皇十八年，突厥达头可汗侵犯边疆，文帝命杨素任灵州道行军总管，出塞讨之。突厥之犯边界，后魏时已然。
《木兰诗》中有“军书十二卷，卷卷有爷名”之句，木兰之父花弧时年事已高，不堪作战，但十二个地方都要这个老头去从军，足见边事情势之紧张。文帝时，突厥也常常犯边，边将抗拒的常用办法，是以戎车步骑相参杂，以鹿角为方阵，骑在其内，这是为了防备突厥骑兵的突击，杨素既至军前，巡视一过，认为这完全是守御而不在求胜，下令改变旧法，易为骑阵。达头可汗闻之大喜，以为这是上天赐他成功的机会，因仰天而拜，率精骑十余万，奋击隋军。他并不知道新来的统帅杨素并不是弱者，挥军与突厥骑兵猛烈冲击，突厥军大败，达头可汗也受到重伤而遁走，所部被杀或受伤者不可胜数，战场上但闻突厥军之号哭，但见突厥军之遁逃。杨素又立此功，文帝少不得又大加封赏，除下诏褒奖外，赐缣二万匹，并赐万钉宝带，加封其子玄感为大将军，玄奖、玄纵、积善为上仪同。文帝这种因父功而贵及其子的做法，加深了素子等的骄纵不法，终于造成了后来杨玄感的叛乱，未尝不是文帝过分奖饰所造成的。
但是杨素的治军，却无可取之处。他军令严肃，犯者立斩，这是他的优点，但是常常求人过失而杀之，多者百余人，少亦数十人，以立军威，流血满地，言笑自若，那便有些过分了。他行阵作战，随机应变，是他的长处，但是他每在临阵时，常令一二百人驰赴敌军，如不能陷阵而生还者，不论多少皆杀之，更令二三百人再进，如法炮制，士卒咸抱必死之心，因而战胜，虽常有之，但不爱惜其士卒，但求胜利，不择手段，也就太过分了。他对部下，有功者虽微必录，有大功则常为文吏所抑却。士卒之宁愿从杨素作战而死者，其故在此，非杨素之真能得军心而愿出力死战也。
开皇二十年，晋王杨广出任灵朔行军元帅，杨素在杨广幕中做长史，二人互相勾结（见下文）；文帝愦愦废太子勇为庶人，而立杨广为太子，杨素实为其主谋，这是他不忠于文帝的又一大事。杨素得到的报酬，是仁寿初年代高颎为尚书左仆射，他不但达到做宰相的目的，而且还得到良马二百匹，奴婢百人的赏赐，真可以说是官财两得了。
但是杨素的边功，亦另有足述者。仁寿初，以素为行军元帅，出云州（大同）击突厥，突厥连败，退走，杨素追及之，恐其远遁，将来仍有祸患，乃令部队略后，遣亲将二人降突厥，突厥酋不察，与二人同行，将择宿营而未得其所。杨素率骑兵骤进，突厥大败，于是砂碛以南，遂无突厥的踪迹。隋末大乱，突厥始又东来，这一贡献，实可与战国末期赵将李牧大破匈奴一事相媲美。李牧守代，杀匈奴十余万，匈奴十余年不敢南下。及其复来，秦已统一全国，发兵三十万拒之，且筑长城以为防守。如无杨素仁寿初年的胜利，则隋末大乱时，突厥势力圈将扩及黄河流域的北部了，唐初的历史将又是一页了。杨素既建此功，其本人已官至极位，无可再高，但其子玄感则进为柱国，玄纵则进为淮南郡公，素则得赏物二万段。
他巴结隋文帝的机会又来了，皇后去世，他奉命经营窀穸，这一回他是一人之下，万万人之上的宰相，再没有人可以批评他的所作所为了，根据隋文帝给他褒扬的诏书，可以看到他经营陵寝的卖力。诏书中的一段说：“献皇后奄六宫……营兆安厝，委素经营……唯卜泉石，至如吉凶，不由于此。素义存奉上，情深体国，欲使出明俱泰，宝祚无穷，以为阴阳之书，圣人所作，祸福之理，特须审慎；乃遍历川原，亲自占择，织介不善，即更寻求，志图元吉，孜孜不已，心力备尽，人灵协赞，遂得神皋福壤，营建山陵。论素此心，事极诚孝，岂与夫平戎定寇，比其功业，非唯廊庙之器，实是社稷之臣。”这封诏书真可以说轻重倒置，不伦不类，替皇后经营陵寝，即使做得尽善尽美，也岂可与“平戎定寇”相比拟。作者深疑其时文帝左右，已经都是杨素的心腹，借此机会，大褒特褒，可知文帝已经被糊涂油蒙了心，隋祚不久，由此可知。由于文帝视此事如此重要，因此对杨素的封赏特厚，封他的一子为义康郡公，食邑万户，子子孙孙，永袭不绝，他自己得到赐田三十顷，绢万段，米万石，金钵一，实以金、银钵一，实以珠宝，此外还加上绫锦五百段。这一次，他的马屁总算拍上了。
杨素既贵宠日隆，专权仗势，无所不为，他的亲族都布满了朝廷内外，如他的兄弟杨约，他的叔父杨文思、杨文纪及族父杨异，都位居尚书列卿，诸子并无汗马功劳，但均以柱国或刺史位置之，亲戚故吏，均列清显，家童数千，后庭妓妾，衣绮罗者约千计，穷奢极欲，比于宫中，为史所罕见。
杨广是一个无礼无义无耻之人，既以杨素之计，立为太子，但他心中却十分猜忌蜀王季。杨素帮他忙，虚构罪状，予以废黜，隋政府中的功臣或不附杨素的，杨素都一一设法除之，如名将贺若弼、史万岁等，名臣如李纲、李彧等都为其所害，其附于杨素者，不论其有无才能，必加擢进，广树党羽，居心叵测。文帝屡防杨素拥兵自重，而不知此公实别有用心，而以宰相之位授之，亦以见其无知人之明而自取其祸了，他并不知道杨广在内煽惑，杨素在朝专权，他的生命已经掌握在这两个人的手中了。
但是杨素如此擅权跋扈，朝中尚有不属杨素一党的人，一时未能除尽，他们看在眼里，恨在心里，终于把杨素的所作所为上达于文帝。兵部尚书柳述是文帝的女婿，他不党于杨素，杨素也未能把他除了。柳述是常能见到文帝的，因在文帝面前，屡言杨素的种种罪行，文帝始渐有戒心。又有大理卿梁毗上表言杨素作威作福的罪行，文帝始渐疏杨素。下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一度，向省评论大事。”这是阳示优宠，实则夺其大权。文帝之所以不即排斥杨素，以其党羽已丰，恐生变之故。故在仁寿之末，杨素不再判省事。
杨广逆谋终被发现了，文帝患病，杨素与兵部尚书柳述、黄门侍郎元庆等都前往侍疾，杨广以太子身份居大宝殿，居然是发号施令的皇帝模样，但他还注意到生病的父亲，怕他病体复原，重登皇位，很秘密地通知杨素要预作防备，杨素也把宫中似有出事状，通知杨广，他们消息暗通，意在悖逆，甚为明显。其实文帝的病并不严重，杨素所称的“出事”，是一种暗号。事有凑巧，杨广的那件密札，误送在文帝手里；而文帝宠爱的陈贵人又以太子无礼的情形，报告文帝。文帝因此大怒，要召回已废为庶人的太子勇，并将此事与杨素商议。该死的杨坚，到这个时候还不知道杨素是他宝贝儿子的同党，把最机密的最后自保的计划和杨素商量，那就等于自己走上死路了。杨素知道了文帝的心事，乃假传圣旨，召东宫兵士上台宿卫，门禁森严，又令张衡入内侍疾，而文帝随即一命呜呼了。所以杨广弑逆之谋，得以实现，是杨素一手导演成功的。文帝宠任杨素，位极人臣，权倾中外，可谓志得意满，但他还要助成弑逆，他的居心何在?读者不难测知。不过在杨素生前，尚未发动叛乱，而由其子玄感实现之。兵败族灭，这是他应得的报应；隋的统治权，也在杨广手中覆灭，可以说也是杨素一手造成的，因此，杨广口中以杨素为隋廷将帅的首位，是出于一己之私。杨素在军事上有其才能，但在人格上完全是心怀奸诈而阴险百出的小人。隋室大将，才识品德俱备的，莫过于韩擒虎。客观地说，这是胡人乱华时期，权臣移国的遗风，文帝有创业之能而无知人之明，和 秦始皇 的猜忌成性而误用赵高，如出一辙： 秦之短命皇朝，开启了汉代的一统之治与声威远振；隋之短命皇朝，开启了唐的一统久治与声威远振，历史难道真的有重现的吗?
杨广谋逆既成，继承帝位，是即荒淫无道，不惜民力的隋炀帝，这一宗谋逆案件，是不能蔽天下人的耳目的，因此引发了汉王谅的反抗，平定杨谅之变，少不得又是杨素的机会，也是他死期的来临。
杨谅举兵，声势颇为浩大。他先派茹茹天保据蒲州，烧断河桥，并派王聃子率数万人助守，杨素率轻骑五千，潜在渭口宵渡，天晓驰兵进击，天保败走，聃子以城降。但晋、绛、吕等州，皆举兵应谅，凭城拒守，杨素以二千石縻之无效。炀帝乃征杨素还京，任以并州道行军总管、河北安抚大使，率军数万攻谅，谅命赵子开率军十余万，据绝径，屯高壁，布阵达五十里，军势甚盛。杨素命诸将正面进击，自引奇兵，潜入霍山，缘崖谷前进，直指赵子开之营垒，一战而破之。杨谅所任之介州刺史，闻杨素军至，惧而弃城，杨素军遂至清原，距并州（太原）仅三十里了。杨谅乃率王世充、赵子开、萧摩诃等十余万众拒之，又被杨素击破，俘萧摩诃等，谅乃退守并州，为素所围，势穷而降。炀帝乃命其弟杨约持诏慰劳之，自比于周公之诛二叔，汉景之戮七藩，而称杨素曰：“公乃先朝功臣，勋庸克茂……夙著诚节……深谋出不意，雾廓云除，冰消瓦解……发愤于内，忘身殉义，亲当矢石……武安平赵，淮阴定齐，岂若公远而不劳，速而克捷者也……言念及此，无忘寝食，公乃建累世之元勋，执一心之确志，古人有言曰： 疾风知劲草，世乱有诚臣，公得之矣，方乃铭之常鼎，岂止书勋竹帛哉!”杨广以帝皇之尊，而屡称杨素为“公”，马屁拍得十足，此役在炀帝来说，其胜败乃其帝位是否能够继续的关键，杨素的胜利，便是使他能保有帝位，关系自然非同小可。但是炀帝心中自有鬼胎，其立为太子，又弑父继位，都是杨素一手导演成功，这个秘密也只有杨广的心腹和杨素与其弟杨约二人知道，兹又讨灭杨谅二十余万之众，勋名大振，便有功高震主之势。万一他这个秘密抖搂出来，宣布于中外，而以兵临杨广，杨广将何面目君临天下，何所恃而可以立足?其对杨素的恭维，所以维系其心，使之不疑，而徐谋除之耳。总之，杨素一日不除，杨广一日不安，这是他们之间的大矛盾，杨素功愈高，危险便愈大，这一点杨素自己也很清楚的。我们但看他谢恩表章中的几句话，便可理解杨素内心的痛苦了。他说：陛下拔臣于凡流，授臣以戎律，蒙心膂之寄，禀平乱之规，萧王（汉光武）赤心，人皆以死；汉皇大度，天下争归。妖寇廊清，岂臣之力!曲蒙使臣弟约赍诏书问劳，王情振越，虽百殒微躯，无以一报。（《隋书》卷四十八《杨素传》）他推崇汉光武“推己心置人腹中”，推崇汉高祖大度，明以向炀帝捧场，实欲期炀帝对他宽大。
杨素胜利还京，从炀帝至洛阳，炀帝以其平杨谅之功，命他担任经营东京的大监，拜其子万石，仁行及侄玄挺皆仪同三司，赏物五万段，绮罗千匹及杨谅之妓妾二十人。大业三年迁尚书令，赐东京甲第一区，物二千段，未几又拜太子太师，明年封司徒，食邑二千五十户。大业二年（公元606年）病死，得全首领，亦云幸矣。
炀帝对杨素，表面上尊重备至，实际上憎恶甚深。此于其病中的“关切”中见之。史称：“素寝疾之日，帝每令名医诊候，赐以上药；然密问医人，恒恐不死。”可知炀帝之关切杨素，正合于俗语所谓“黄鼠狼给鸡拜年，不怀好意。”杨素自己也知道“名位已极”，“不肯服药，也不肯将慎”。他不肯服药，也许是怕炀帝毒死他，但他自己不加保养，则恐一旦痊愈，将遭诛戮之祸。他对他兄弟杨约曾说：“我岂须臾活耶?”可以知道他自己也知道早死为佳。人都有恋生的意愿，而杨素以如此富贵而反以速死为期，足见其多行不义的内心痛苦之深了。杨素那时候贵与富都已到了极点，他所受赏赐，必以亿万计，他又贪婪成性，“营求产业，东西二京，宅第侈丽，朝毁夕改，营缮无已，爰及诸方都会，邸店水硙井利田宅，以千百数”。但是他心理负担很重，时论都鄙其为人，他既遭上忌，又受下议，总是厚脸无耻至乎其极，也禁受不起如此的奚落。不义之财，阴谋之贵，对杨素的晚年，心不安，理不得。他两眼一闭，两腿一伸，又享受到了什么呢!
杨素既死，炀帝已放下心中的一块巨石，落得大方，风风光光地予以厚殓，以景武为谥，赠光禄大夫、太尉、西河、河东郡太守，给辒车，班剑四十人，前后部羽葆鼓吹，粟麦五千石，物五千段，命鸿胪监护丧事，又下诏褒之曰： 夫铭功彝器，纪德丰碑，所以垂名迹于不朽，树风声于没世，故楚景武公素茂绩元勋，劬劳王室，竭尽诚节，叶赞朕躬，故以道迈三杰，功参十乱，未臻遐寿，遽戢清徽，春秋递代，方绵岁祀，武樯雕篆，用图勋德，可立碑载隧，以彰盛美。（《隋书》四十一《素传》）我们试看杨素病中的种种言行，似有悔意，那炀帝对他的种种褒词，无异乎重重地给他抨击，杨素地下有知，当愧悔无穷了。
前面曾经提到过杨素助成杨广之立太子，其弟杨约是知道此事的。最后，作者要补述这一段史实的经过。杨约是杨素的异母弟。此人幼时由树上跌下来，损及生殖机能，已不能人道。性沉静，好学，但内心甚为谲诈，故颇为杨素所重，凡有所为，皆先商之于约。杨广为晋王时，意欲逐去其兄而为太子；知杨素兄弟皆获文帝信任，乃以重礼遣宇文述贿约，而说约曰：“守正属道，固人臣之常，致反经合义，亦达者之企图。自古贤人君子，莫不与时消息，以避祸患。公之兄弟，功名盖世，当涂用事，有年岁矣，朝臣为足下家所屈辱者，可胜数哉，又储宫以所欲不行，每切齿于执政。公虽自结于人主，而危公者固亦多矣。主上一旦弃群臣，公亦何以取庇?今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必镇铭于骨髓，斯则去累卵之危，成太山之安也。”约然其言，以告杨素，素大喜，抚掌而对曰：“吾之智思，殊不及此，赖汝起予。”杨约乃进一步向素建议：“今皇后之言，上无不从，宜因机宜，早自结托……一旦有变，太子用事，恐祸至无日矣。”杨素因进行废弃太子勇为庶人，而立杨广为太子。在这一则史实中，可知文帝知人不明，行事多暗，听信小人的摆布，堕入其圈套而不自知，及发觉，时机已失，只有一命呜呼，自取其咎。这个杨约做成这笔政治掮客的大买卖，颠覆了隋室，也造成杨家族灭的后果，如果真的有因果报应，杨素家的族灭，便是一例了。
《隋史》对杨素的批评，甚为允当，录之如下： 杨素少而轻侠，俶傥不羁，兼文武之资，包英奇之略，志怀远大，以功名自诩。……览其奇策高文，足为一时之杰。然专以智诈自立，不由仁义之道，阿谀时主，高下其心，营构离宫，陷君于奢侈，谋废蒙嫡，致国于倾危，终使宗庙丘墟，市朝霜露，究其祸败之源，实乃素之由也。……子（玄感）为乱阶，坟土未干，阖门菹戮，丘陇发掘，宗族诛夷，则知积恶余殃，信非徒语，多行无礼必自及，其斯之谓欤!（《隋书·素传》）在这一段评论中，有“览其高文”一语，按杨素能文能诗，颇负时名，曾为杨坚草露布，下笔立就，文辞秀丽，词旨悉合；作攻陈条陈，悉合文帝之意，他曾随炀帝在洛阳时曾以五言诗七百字赠当时的名诗人番州刺史薛道衡，“词气宏拔，风韵秀上”，称为一时的佳作。这首诗里说些什么?未知其详，但道衡称之为“人之将死，其言也善”，杨素其时已有悔过之心乎?当他为献皇后营陵寝，文帝褒奖他的诏书中，有“论文则词藻纵横，语武则权奇间出”的话，足证他的文名，是颇受文帝赏识的，观其在平定杨谅之役，答谢炀帝褒奖的奏章，亦足证之。奏章有云： 臣自惟薄志，志不及远，州郡之职，敢惮劬劳?卿相之荣，无阶觊望，然时逢昌运，王业惟始，虽消流赴海，诚心竭虑，轻尘集岳，功力盖微。徒以南阳闾里，丰沛子弟，高位重爵，显荣一时，遂复入处朝端，出总戎律，受文武之任，预帏幄之谋，岂臣才能，实由恩泽，欲报之德，义极昊天……则其文词确有可观，而且说得非常得体。《隋书·杨素传》中，称其“有集十卷”，《隋书·经籍志》有其书目，称“太尉杨素集”十卷，可惜我们一时无法读到他的整个遗著。以意推之，也不过是冠冕堂皇的外君子而内小人的一套。
评论中有“坟土未干，阖门菹戮，丘陇发掘，宗族诛夷”等语，兹亦加以说明。杨玄感之乱后，杨素有坟墓被掘的处分，以炀帝的性格来说，可能戮及杨素，但史未言其事耳。不过杨玄感确是死得很惨。玄感兵既屡败，嘱其弟积善抽刀砍其头，积善如其言，将自杀，被追兵所执，与玄感尸首同送东都，磔其尸，曝市三日，复脔而焚之。同时被杀的，还有其弟玄奖、玄纵、万硕、民行等，都被枭砾。杨氏子弟，死亡殆尽，“阖门菹戮”之说，盖亦有据。
隋初名将，在隋炀帝为太子时，心目中第三号人物便是史万岁，但在贺若弼的观感中，史万岁是“骑将非大将”。我们平心而论，史万岁智勇双全，疆场建功之多，不输于贺若弼；杨广口中的三大将，有史万岁而无贺若弼，但是仍和他谈论当时的名将而听取其意见，足证杨广有拉拢史万岁与贺若弼之意。可是杨素妒才害能，一心要包围杨广，不许杨素系以外的人接近杨广。史万岁与贺若弼既有卓越之能与显赫之功，而不党于杨素，故二人均为杨素所害，史万岁之死，且成为隋代大冤狱之一，当时获得普遍的同情和不平。但是史万岁也有自取其祸之道，他曾经犯过贪污的过错，是其人格上的污点。由此言之，韩擒虎全功全名而终，是他的侥幸。不过韩擒虎与韦世康，在人格上都没有污点，足证无论文武，人格的休养，还是一件非常重要的事情，历史是一面镜子，足供后人鉴戒的。
史万岁是京兆杜陵人，就是现今陕西的西安人，他的父亲史静，在后周时曾任沧州刺史，也可以说是世家子弟，史万岁在少年时，即有英武气概，好骑马射箭，身手矫捷，有如鹰隼，是天生的将才。及长，好读兵书，且精占卜测候之术，时北周与齐屡次构兵，史万岁在十五岁的时候，曾经随父与齐作战，鏖兵于芒山，双方旗鼓均列，军阵相望，万岁前往察看，令左右急速治装，迅离战场。两兵相接，周军大败。其父始知万岁能预知胜败的契机，因而特加重视。平齐之役，其父殁于战场，北周武帝以万岁为忠臣之后，袭爵为太平县公，拜为开府仪同三司，万岁至此，正式为北周的官宦，但尚无藉藉之名。杨坚掌握北周军政大权，激成尉迟廻之乱。史万岁在梁士彦麾下，随军出征。军次冯翊，适有群雁飞过，万岁向士彦要求，射其雁行中的第三只，士彦许之，万岁发箭，果然射中其目标，应弦落地，军中无不悦服，万岁之名始大著，每战必奋勇居前，立功甚多。及攻邺城，军稍却，万岁对他的左右说：“事急矣，吾当破之。”因驰马突前奋击，杀敌数十人，余军见万岁得手，跟着进攻，军势大振，因破邺城，平定尉迟廻，论功行赏，拜为上大将军。因此，他的爵位，由于他父亲的余荫，但是他的功名显于一时，是靠他的智与勇得来的。
尔朱勣者史不详其事迹，但其反叛杨坚，大体上是和尉迟廻的性质相类似。尔朱勣之乱既平，世传与史万岁有关联。这是一个疑案，以常理论之，史万岁既力战破尉迟廻，决无参加尔朱勣反杨坚之可能。反杨坚而失败，定受死罪，尉迟廻与尔朱勣都是例子。史万岁参与尔朱勣之乱，如果真有此事，岂能独活?但猜忌成性的杨坚，对史万岁的处分，仅仅是削职为民，发配至敦煌为戍卒。按那个时候的风气，部属立功，都为主将所夺，或为文士所压。史万岁在邺城立功，虽闻于杨坚而得到应有的封赏，但因此遭忌，因尔朱勣之乱而陷之，是大有可能的。
不过史万岁之贬戍敦煌，是祸，但也未尝不是福。敦煌戍将颇称骁勇，常常单骑匹马，深入突厥，掳其羊马而归，突厥人无法抵抗，任其来去，主将因而自负，常常辱骂史万岁。万岁因向戍将自称“亦有武勇”，主将试其骑射，颇喜其功夫之高。万岁因请赐以弓马而试入突厥，亦得六畜而归，戍将因善待之，尝与同行，深入突厥境，常达数百里之遥，其名因震于突厥，这是史万岁了解突厥和后来立功于边陲的基础。
会窦荣定奉命征突厥，亦至敦煌，万岁因向荣定请求效命，荣定久知万岁之名，相见大悦，率领同进。荣定既得万岁，因派人告突厥： 两军对阵，多所杀伤，士卒何罪，而使他们死于非命，应该各派壮士，阵前比武，作为决胜负之代表战。突厥同意，派一勇士者为代表，荣定命史万岁应之： 万岁驰出，立斩之，取其首而回。突厥大惊，引军远去，一场战争，就因史万岁之勇敢和箭法而告结束。万岁亦因此功，拜上仪同、领车骑将军。史万岁之重为隋将，是福，也是祸。平陈之役，万岁也参加作战，积功加上开府，他的官位又渐渐增高，声望又著称于时了。
时东南大乱，高智慧等据地称雄，不服隋命，隋文帝因命杨素为行军总管，率师讨之。合该倒霉的史万岁也以行军总管的名义，受杨素指挥，同去平乱。进讨东阳的高智慧之役，是许多战役中规模最大的一次，也是作战历程最艰苦的一次，自晨至暮，鏖战了整整一天，始得胜利，是役，史万岁的陆军二千名，是主要的作战力量。智慧兵败，向南逃走，杨素自海陆两方蹑之，陆路的主力，仍是史万岁部。史万岁自东阳别道，攀岭越海，前后七百余战，辗转千余里，所破溪洞，不可胜计。《隋书·杨素传》称，平定东南之役几千余战，则三分之二的战斗，都是史万岁的功绩。当史万岁追蹑高智慧的过程中，并无驿道可以报告消息，先后不通音问者十旬，众皆以为万岁已没军中，万岁设法置书竹筒中浮之，为汲水者所得，以告杨素，杨素大喜，上其事于文帝。文帝为之嗟叹，赐其家钱十万，拜左领军将军。杨素在这一战役，总算还有良心，没有完全攘夺他的功绩，但对文帝的直接封赏史万岁，心中不无芥蒂，为日后杨素构陷史万岁的张本。此战功高赏薄，足证已经被杨素干没了不少。
平定南方的爨玩之役，是史万岁在南方边区所建的另一次大功。
现今广西南宁一带的土著，由爨玩为首，曾向隋廷称臣，文帝拜为昆州刺史。但爨玩自恃边远，北方兵力难以到达，因而复叛。文帝乃令史万岁为行军总管，率师讨之。万岁自蜻蛉川进兵，经弄冻、大勃弄、小勃弄而至南中。爨玩虽派兵屯据要害，但皆为史万岁所击破，前进数百里，见诸葛亮的纪功碑，万岁在碑后勒铭曰“万岁之后，胜我者过此”，令左右倒其碑而南进。度二河，入渠滥川，经千余里，击破其三十余部，俘男女二万余口，诸夷震恐，遣使请降，献径寸明珠，请恕其罪，因勒石纪功，颂扬隋德。万岁乃遣使上奏，请带同爨玩入朝，文帝下诏许之。爨玩这个人反复无常、心怀叵测，他知道隋兵不能久留，再来亦颇不易，又恐入京之后，不得南归，因以金宝赂史万岁。史万岁对于这一事件的处理，出了大纰漏。依理，他既然向朝廷建议要带爨玩入京，无论如何要等待文帝的复旨，依照指示而行，绝不可收受贿赂；在朝廷复旨未到之前，留爨玩于其原来的势力圈，遽然北归。他自以为在复旨未到前释爨玩而返，可以搪塞他前后矛盾的行为，而不知道这是一项欺君的大罪，他自以为他的受贿，极为机密，无人能知；而不知道“若要人不知，除非己莫为”。他的秘密终于被蜀王所发觉。这位蜀王杨秀也不是好东西，他是想黑吃黑，派人向他要索，分取一杯羹，万岁知道这是一件不得了的事情，索性赖得一干二净，把金宝沉于江底，蜀王使者搜索无着，只好暂时隐忍。所以万岁返京，还能以功，得到柱国的封赏。时晋王杨广正在延揽人才，知万岁可用，乃虚与结交，以友礼待之。文蒂知万岁为晋王所善，索性派他任晋王府督军事之责。
但是史万岁接受贿赂之事，并未因此告一段落。这个野心勃勃的爨玩在史万岁北归以后不久，又起叛乱。蜀王杨秀乘此机会，上奏史万岁“受赂纵贼，致生边患无大臣节”的罪状。文帝派人查证，尽得其实，乃宣布其罪状：“受金放贼，重劳士马……岂社禝之臣。”万岁强辩，谓“臣留爨玩者恐其州有变，留以镇抚，臣还至泸水（大渡河，由此可知他的南征是从现今的四川进兵的），诏书方到，由是不将入朝，实未受赂”。文帝以其“欺隐”，大怒曰：“朕以卿为好人，何乃官高禄重，翻为国贼。”令明日斩之。史万岁真可以说是弄巧成拙了。万岁知事态严重，始顿首认罪而乞命。时高颎任左仆射，会同左卫大将元旻谏文帝，谓“史万岁雄略过人，每行兵用师之处，未尝不身先士卒，将士乐为致力，虽古名将未能过也。”文帝怒稍解，免其死刑，削职为民，这是史万岁第二次降为平民。
但是史万岁终于又得到为国家服务的机会。
时突厥达头可汗又犯北疆，文帝乃复史万岁的官爵，拜河州刺史，领行军总管，令随晋王广与杨素共征突厥。晋王与杨素勾结，即在此时。史万岁曾受晋王礼遇，杨素对史万岁深为妒嫉。这次北征突厥，分两路进行： 一路由晋王广与杨素出灵武，一路由汉王谅史万岁出马邑（朔州）。杨素的出兵，旨在驱突厥出碛，另述于杨素传，但实际上收驱逐突厥之功者则为史万岁。史万岁率领柱国张定和、大将军李药王、杨义臣等越塞北进，与突厥相遇于大斤山。达头可汗问当前的隋将是什么人。候骑报告是史万岁。达头又问是不是就是以前的敦煌戍卒吏万岁。候骑答称正是此人。达头闻而大惧，率师引退。史万岁率部追之，百余里始追及，大杀一阵，突厥部被打得落花流水一般，死者数千人，狼狈而逃，入沙碛数百里，始得喘息，这是一场莫大的军功。
但是在这一胜利的大功中，史万岁并未得到什么封赏，害他的便是杨素。杨素说： 突厥本来投降，并非为寇，他们不过是来塞上放牧而已，但被史万岁追杀，致未能如其投降之愿。杨素的说法，显然与事实不合。游牧族在秋季至塞上放牧，本为常事；但达头可汗此来，旨在寇边，岂但放牧而已。如果只是放牧，隋文帝又何必小题大做，派两个皇子带领名将精兵，前往抗拒乎?文帝既大动干戈以御突厥，但却被杨素这一片轻描淡写的谎言，瞒骗过去，而忘却其出兵的本旨。文帝之不明事理，此为一例。史万岁对文帝把这一大功绩的淡然处之，心有不甘，乃屡次抗表力争，但文帝先受杨素谎言的欺骗，置之不理。史万岁心中怏怏不乐，亦以见其修养功夫的缺乏，他并不省悟此次的有功不赏，定有谗言在妒忌他的勋绩，他争得愈力，谗害他的人忌之愈深，他到底是一个粗心大意的军人，不能适应环境的硬汉，他哪里是杨素的对手?杨素之必欲置史万岁于死地，未始不是他屡次上表力争的后果。
史万岁终于死在杨素的阴谋中，其手段是诬史万岁是废太子杨勇的余党，这真是一个大冤狱。
这里，我们要补述文帝废弃太子而立杨广为太子的经过。太子勇之被废，实在是我国历史上的一件最奇怪而滑稽的事。勇并无大过，太子是国家的大本，任何朝代，除了真有十恶不赦的大罪外，从不轻易谈到废弃的，而隋文帝的废太子勇及其子孙均为庶人，这是我国历史上唯一的糊涂事件。
隋文帝的废嫡子而立次子，其中心当然是杨广，促成之者为其母独孤皇后及杨素兄弟。太子勇之为人，史称其“宽厚任情，无矫饰之行”，不失为一个善良之人。文帝为政，颇尚节俭，常见勇饰蜀锦，文帝见而不悦。冬至日，百官皆诣勇朝贺，勇张乐受之，文帝更不悦，特下令停之。自此日渐疏勇，由于这些并不违礼而也算不上奢侈的小事而动摇国家的根本，岂不是大笑话。反之，晋王广的奢侈淫佚，实远过其兄者何止十百倍，后宫佳丽，衣绮罗者何止百人。但杨广实富机心，对帝与后的行动，常加刺探。一日，知帝与后将至其府邸，特将绮罗佳丽，尽闭别室，仅留老丑婢锦衣女侍宴，并将弦乐诸器，洒以灰尘，以示久未使用，广与萧妃又尽量伺候帝与后，表示其孝心。由是帝与后皆以广为贤，优待日隆。
至于后之憎勇，更为奇特。后姓独孤，十四岁嫁给杨坚，时坚尚微贱，夫妻恩爱，誓同白首。及杨坚称尊，立独孤氏为后，是即所谓献皇后，献皇后最妒，宫中妃嫔贵人之稍具姿色者，常阴去之，有孕者则阴除之，宫中能侍文帝者只有一个陈贵人封光华夫人，此即南朝的陈后主之妃，亦为杨广所爱，秘密联络之，以为内应。致文帝对宫中其他妃嫔不敢注视。文帝对此，敢怒而不敢言，曾单骑出苑门，走向山谷二十余里。高颎杨素追及，苦劝乃返，高颎曾言“陛下岂以一妇人而轻天下”，杨坚因而回心。高颎此言后为献皇后所闻，因怀恨在心而谮去之。太子勇的元妃病死，献皇后以为此必因太子勇有内宠之故，因憎勇，密遣人搜集资料，屡言于文帝，必去之而甘心。卒废勇而立晋王为太子，又复穷治太子勇之党羽，悉加驱诛，这是杨素借机会除去其不党之人的阴谋，倒霉的史万岁，便在这种阴谋之下丧失其生命的，这是开皇二十年七月的事。
文帝废勇之日，史万岁实已在宫中，文帝不见史万岁，乃问素，素答以“已往太子宫中”。文帝以为史万岁乃太子党羽，大怒，素更进言史万岁数入太子宫中，这一句话正是火上加油，乃召万岁责之。时万岁所部将士之在朝为史万岁称冤者数百人，皆气愤填膺，史万岁还以为他们是有功未赏的积愤，安抚他们说：“吾今日为汝极言于上，事当决矣。”史万岁真太糊涂了，他并不知道自己已经被害，生命危在顷刻之间，诸将士之不平，是为了他受冤莫白。蒙在鼓里的史万岁，既见文帝，还声言“将士有功，为朝廷所抑”，语气颇为激动，文帝更怒，命左右搏杀之，史万岁临死，还不知道他被人诬陷，这个直心肠的人死得太冤枉了。
文帝既杀史万岁，已而悟，悔之已晚，乃索性宣布史万岁的罪状，以自圆其说。诏书是这样说的： 柱国太平公万岁，拔擢委任，每总戎机。往以南宁逆乱，令其出讨，而昆州刺史爨玩，包藏逆心，为民兴患，朕备有成敕，令将入朝，万岁乃多受金银，违敕令住，致爨玩寻为反逆，更劳师旅，方始平定，所司检校罪合极刑。舍过念功，恕其性命，年月未久，即复本官。近复总戎，进讨蕃裔，突厥达头可汗，领其凶众，欲相抗拒，既见军威，便即奔退，兵不血刃，贼徒瓦解，如此称捷，国家盛事。朕欲成其勋庸，复加褒赏，而万岁宣和通簿之日，乃怀奸诈，妄称逆面交兵，不以实陈，怀反复之方，弄国家之法。若竭诚立节、心无虚妄者，乃为良将。至如万岁，怀诈要功，便是国贼，朝宪难亏，不能再拾。（《隋书·史万岁传》）这一件诏书，真可以说不伦不类达于极点。南宁受贿一案，早已了结，这确是一项杀头大罪，既已赦免，重提何谓?至驱达头可汗于碛北，这是一项大功，未加封赏，也算罢了。诏书中特别提及此事，反足以显文帝赏罚之不公平。至于说“逆面交兵”更是文帝的谎言，万岁追及达头可汗于碛北，大破其众，史有明文。史万岁亦无如此的供词，杨素也不过说史万岁耽误了达头的来降，也并没有说史万岁“逆面交兵”之事，朝廷的诏书，岂可假造供词，以实史万岁之罪。退一步说，史万岁驱达头可汗于碛北，而又大战破之，为不争的史实，即使有“逆面交兵”的谎言，也罪不至死，文帝自造谎言，以罪史万岁的供状。客观地说，这是宫闱朋党之争的暗潮，杨素阴谋之实现，史万岁固然死得莫明其妙，文帝也不知道他的内幕。一个是糊里糊涂地死了，一个是糊里糊涂地杀了无辜的功臣。隋文帝之死于非命，是他自己糊涂的结果，读史的人，自然极明白的。
万岁之死，天下人无论识与不识，无不认为他是蒙受不白之冤而为之痛惜的，这真是所谓公道自在人心了。《隋书》还特别说明万岁的将才，称其“不治营伍，士卒各就所安，无警夜之备，虏亦不敢犯；临阵对敌，应变无方，号为良将”。这是公平的论评。方诸汉武帝时的名将，殆程不识之流乎?临阵作战，随机应变，出敌不意，攻敌不备，是兵家常用的原则，史万岁之为良将，复何可疑？
隋初宰辅，高颎与苏威并称。但就才能方面作比较，高颎文武兼备，政理通达，武功卓越，权谋高远，胜于苏威。苏威熟悉典章制度，处事稳重，政崇节俭，事尚远大。在政绩方面，堪与高颎媲美，武功不如高颎而出使不辱国家，亦其所长。论人格修养，二人均为孝子，都有谦德，但高颎忠于隋室，敢言敢谏，始终如一；而苏威在隋初期，也忠心耿耿，但晚节不坚，王世充与李密等招之，授以官职均跪拜而受，又向唐帝求见，碰了大钉子，这就比不上高颎太多了。论际遇，他们都受知于文帝。初期依畀之隆，荣宠冠于一时，但是后来高颎以忠而受诛，天下哀而冤之，而苏威则以八十八岁高龄，寿卒于家，大有令人生老而不死之感。但无论如何，苏威为隋室名臣，要为不争的事实，其行事堪为后世取法之处甚多，因亦为读者介绍，作为隋代风云人物之一。
苏威字无畏，京兆武功人，他的父亲名绰，仕魏，曾任度支尚书，相当于现今的财政部长兼主计长，所以他是宦门之后。秉性至孝，五岁时便遭父丧，哀痛有若成人，因此见重于乡里。北周太祖时，今袭父爵为美阳县公，任郡功曹之职。及宇文护任大蒙宰（相当于宰相），对苏威，甚为赏识，以礼见之，并娶以其女新兴主，由是苏威成为王亲国戚。但是苏威对于老丈人之专权跋扈，政不由轨，认为他必遭横祸，恐连累到他，脱离政治旋涡，虽受其叔父之逼，亦悍然不顾，终于隐身山崖，以读书为乐。后来宇文护果然受诛，苏威赖其敏锐的观察和浩然的去志，得免于难，所谓“识时务为俊杰”，苏威有之矣。后来杨坚欲以高颎为尚书左仆射，高颎坚辞，举苏威以自代，杨坚称其为前朝高蹈之臣，即指此事而言。北周武帝亲政，知苏威之贤，迎之还朝，授以持节车骑将军仪同三司，改封怀道县公。武帝是一个英明之主，总揽万机，日不暇给，拜苏威为少伯下大夫以分其劳，前后赏赐极多，威皆辞疾不拜，真所谓“高蹈”之臣。
河南元雄者，为苏威从妹之夫，与突厥往来而生嫌隙。突厥入朝，指名要把元雄交出，方始甘心，周帝将从其请。苏威认为胡人贪利，可以重贿动之。突厥闻有重赂，固然不坚持原议，但是哪里来这一笔数字不小的贿赂呢?苏威无可设法，只好把自己的田宅标卖，尽以所得授突厥，突厥才不再提交出元雄之事。苏威此举，不在市名，而时人则以高义重之。
周宣帝就任后，任以开府之职，苏威受之。及杨坚任丞相，聘高颎入幕。高颎屡称苏威之贤，杨坚亦素知其名，乃召之，引入卧室长谈，杨坚大悦。苏威因在杨坚幕中居住月余，其时周室有让位于杨素之说，苏威闻之，遁归故园。高颎欲追而返之，杨坚以为不必，认为苏威之去，是不愿参与他的禅让之事，听其自去。及杨坚接皇帝位，征威为太子少保，进赠其父为邳国公，食邑三千户，由威袭爵，并兼民部尚书，杨坚笼络这位高蹈之臣，可谓煞费苦心。但是苏威仍拜表力辞。文帝乃对他下诏书说：“舟大者任重，马骏者道驰，以公有兼人之才，无辞多务也。”苏威感其诚，始允就事，自此遂为隋室重臣，深受文帝的宠信。
其父苏绰是一位理财家，在任度支部时，财用颇感支绌，乃创增税之法。省刑薄税，是我国传统的施政方针之一，苏绰此举，果然可以纾解财政上的困难，但民间负担太重，又与传统的薄税政策相反，因而良心不安，常叹曰：“今所为者正如张弓，非平世法也，后之君子，谁能弛之乎?”苏威牢记父言。及为隋臣，奏请减赋轻税，以树典范。文帝完全照办，他不但是完成了他父亲的遗志，并且为文帝收揽了民心，苏威看到文帝宫中的帐幔，以银为钩，因陈为政节俭之道于文帝，文帝闻而感动，所有银钩，悉令除去，所有雕饰旧物，亦令去之。由此益重苏威。时高颎与苏威并为尚书左右仆射，两人合作无间，隋初政治，号称清明，都是他们两个人的力量。开皇之治，史所不述，但自两晋以后，政治上轨道而著有成绩，此为开端。
苏威还有一个长处，就是能够不辞嫌怨的固谏。有一次，文帝曾对一个不传姓名的人，暴怒而欲杀之。苏威认为此人罪不至死，入阁进谏，文帝益怒，将自出斩之，苏威遮住了文帝的去路，不令上前；文帝避道而出，苏威又上前阻之，帝乃拂衣而入，此人遂得不死，及文帝怒解，召威谢之曰：“公能若此，吾无忧矣。”因赐马二匹，钱十余万，并命兼大理寺卿、京兆尹御史大夫，仍任右仆射如故。由此，苏威身兼五要职，颇遭时忌，治书侍御史梁毗因向文帝上表戡威，谓“威领五职，安繁恋剧，无举贤自代之心。”梁毗不知道这些繁剧的兼职，是文帝要他干的，并不是他自己要来的。文帝因特作解释道：“苏威朝夕孜孜，志存远大，举贤有阙，何各遽迫之?”又对朝臣说：“苏威不值，我无以指其言。我不得苏威，何以行其道?杨素才辩无双，至若斟酌古今，助我宣化，非威之匹也，苏威若逢乱世，商山四皓，岂易屈哉。”文帝如此重视苏威，而且明言杨素不能与苏威媲美，这在杨素看来，是对他的当众侮辱，后来便与苏威不睦，而且常常恃势屈辱之，便以此故。这是文帝无心造成的，还是有意挑拨的?这个问题，便是一个不易解决的谜。但是文帝是一个诡计多端的枭雄，他害怕功高盖世的杨素与深得民心的苏威，如果互相结合，对隋室将产生不利的形势，因而无意中使二人不睦，也不是不可能的。
不过，苏威的兼职实在太多，而且都有实际工作的，这一点文帝也是知道的，所以没有多久，解除他太子少保与御史大夫之职，废京兆尹，拜为刑部尚书，寻转民部尚书，仍任纳言，他本职外仍有两个重要兼职，这也就是说文帝对梁毗的抗章戡威，认为有相当理由，但举贤以代，苏威不知道贤人何在。文帝也是如此，故为此折中办法，省去几个官职，但对苏威，仍然借重如故，亦足以见其信任依然很深，两年后，迁吏部尚书，未几又兼国子监酒（相当于当时唯一的中央大学校长）。文帝鉴于当时法令错综繁杂，颇多重复矛盾之处，有改革统一之必要，苏威既历任务部首长，熟悉一切法令，乃受命厘定法典，所有一切律令格式，皆出其手，成为隋代的法典，时人都称其能。开皇九年，拜任尚书右仆射，仍与高颎同掌朝政。
就在这一年，他的母亲去世，依例丁忧去官。他五岁丧父，鞠育顾复，都由母亲担任，母子相依为命，又遭大故，自然痛不欲生，寝处苫块，形销骨立，其肤有如桔柴，健康大受影响。文帝闻此情况，十分担忧，特别给他下一封诏书说：“公德行高人，情寄殊重，大孝之道，盖同俯就，必须抑制，为国惜身，朕之于公为君父，宜依朕旨，以礼自存。”文帝以“君父”的身份，要他为国节哀，而且诏敕中屡以“公”相称，礼与情俱深，更见对苏威的尊重。未几并施夺情，强令起任，威仍固辞，文帝不许，乃视事。
文帝赴并州巡视，本命苏威与高颎同任留守，继以当地发生民间诉讼问题，要苏威去审问，于是只留高颎一个人在京了。这里我们应该注意，民间诉讼，难道并州方面得不到审理之人?如果文帝不去并州，不调苏威前往，难道这一件讼事便无法解决?这些都出乎常情的，因此，作者认为这是文帝对高颎的试探，看他一人独留京师，会不会造反，他对苏威其时尚不加防备，而对高颎处处防备，因为威是文人，而颎则兼资文武故耳，这是开皇十年的事。
文帝宠任苏威，爱屋及乌，对他的儿子也特别予以提拔，引为太子属吏。因父功兼及其子，是文帝一贯的作风，他对杨素许多儿子都因素功而累次加封，更是出人意表，苏威受到的赏赐只是一子而已。他的儿子名夔，倒并不是马马虎虎的人，自幼聪明善辩，八岁诵习书诗，兼学骑马射箭，十三岁从父至尚书省，曾与安德王比赛骑射，赢得一匹骏马，可见他是一个文武兼备的少年。十四岁时，在学与诸儒议论，词旨多可观，由是知名于当世，士人纷与交结，这当然也是对苏威的巴结，及长，博览群书，对音律心得尤深。由是被任为太子通事。曾与沛国公郑译国子博士何妥议乐律之事，意见不同，遂无结果，著《乐志》十五卷以明其志。旋迁太子舍人。文帝仁寿末年，下诏各州举通达礼乐之人而能明其源流者。晋王昭时任雍州刺史，举夔以应，各州所举凡五十余人，文帝悉召见而试之，唯苏夔中其意，其对乐律精深，由此可知他不但是一位贵公子而已。
当他和何妥议乐时，各具一议，不能定，文帝使百僚参加讨论，各表示其意见，而同意苏夔所见者达十之八九。何妥自谓寝研此道者已四十余年，而为孺子所屈辱，大恚，因上表勘威曰： 威与礼部尚书卢恺，吏部侍郎薛道衡，尚书右丞王弘，考功侍郎李同和等，共为朋党，省中呼王弘为世子，李同和为叔，谓如威之子弟也。……威以曲道任其从父弟彻肃等冒罔为官，又国子学请荡阴人王孝逸为书学博士，威属卢恺以为其府参军。（《隋书》卷四十一《威传》）何妥在平时不戡苏威，而在与其子议乐律不协而失败时戡之，足证这是恼羞成怒的意气之争。一个在朝廷具有权位而被主上宠信的高官，有人趋附，也是常情；一个有用人权的高官，派人任事，亦为常事，遽以朋党称之，未免过分。这个问题的中心，是在苏威所亲或所任之人，是否有能力负其责任?任官后的政绩如何?来决定他的是否不当甚或有罪。春秋时晋的祁奚，“外举不避仇，内举不避亲”，为历史上的佳话，苏威举其从弟任官，也是才与德及其政绩如何的问题，算不得是一项任用私人的罪名，更不能竟指为树立朋党，但文帝对于此案，只令蜀王秀上柱国虞庆则等调查之，所得皆实，并不深入调查其治绩与品行能力。文帝得到报告，甚为不悦，以《宋书·谢悔传》中有关朋党一段，令苏威读之，苏威恐惧，免冠谢罪，文帝则谓“谢已晚矣”，乃免其官职，令开府就第，因此而牵连的名士而得罪者百余人。我们从他儿子到京四海人士多归之的一点来看，更从牵累受罪的知名人士之多的一点来看，可知文帝对苏威父子由此而生猜忌之心，由于他只是文吏，不是军人，并无武功，因此他仅得免官的处分，还能开府就第，算是不幸中之大幸。
文帝曾谓：“我不得苏威，不能行其道”，“斟酌古今”，杨素不能比，隋政府中缺少不得这样一个人才，因此苏威去官不久，文帝又悔之，自下台阶地说：“苏威有德行者，但为人所误耳。”年余，又复官，拜纳言，复邳国公爵，令从祠 泰山 。但他对苏威仍甚不放心，以“不敬”为理由而免官，文帝向群臣解释道：“世人言苏威诈清，家累金玉，此妄言也，然其性狠戾，不切世务，求名太甚，从己则悦，违之必怒，此其大病耳。”按文帝曾称苏威奉职，“朝夕孜孜，志存远大”，又隋代律令格式，都由苏威所定，何谓不切世务?名士从之者百余人，如他喜怒从心，这些名士难道都是趋炎附势，专伺其喜怒之人?由此，可知文帝仍以苏威有树党之嫌而设法除去之而已。不过苏威坚持成见，很少能接受别人的批评，倒是事实。此所以诸葛亮要人群攻其过而察纳雅言，为不易之事也。
但是，文帝对苏威的才能和德行，仍有依重的必要。江南之乱，虽经杨素与史万岁的平定，但文帝仍然放心不下，因此复起苏威，令持节巡抚，便宜行事。苏威恪尽职责，到处奔波，宣行教化，经会稽而逾五岭，翻山涉水，不辞辛劳。还京后，适突厥都蓝可汗屡犯边区，乃命苏威使突厥，与都蓝可汗结约和亲，都蓝可汗亦遣使来隋，奉献方物。北方边区，因得宁静，以功拜大将军，仁寿初，复拜右仆射。会文帝至仁寿宫，苏威留京总理诸事，好像又得文帝的宠信，复遭时人之忌。及文帝还京，御史又戡苏威“事多不理”，文帝虽责之，威乃谢罪，这次他未受处分，足证问题并不严重，文帝又赴仁寿宫，仍由苏威留守。文帝病，皇太子返京，这一次文帝便与世长辞，再也回不到京师了。他经常防这个反他，那个反他，却想不到最后杀他的竟是他所宠立的“畜生”儿子和替代忠心耿耿的高颎为宰辅的杨素，至死方悟，岂不可笑！
炀帝嗣位，苏威仍任尚书右仆射，不过左仆射换了机诈最深的杨素，实际上文帝晚期，忌害苏威者日多，他已动辄得咎，没有什么事情好做，至此，人事全非，他不过备位而已。炀帝好大喜功，奢侈淫逸，无所不为，如连年征辽东与高句丽作战，如筑长城，开运河（通济渠），广建离宫，到处玩乐，苏威为政，以节俭为本，对于炀帝的所作所为，自然看不过去，因此，屡加谏阻，但是绝不会发生效果，反而引起了炀帝的不悦。会高颎与贺若弼被诛，苏威和他们向来很亲近，因被株连而去官，这可以说是苏威因祸得福。
但是炀帝还念他是先朝旧臣，不过一年多，又起用他，任鲁郡太守，未几召还京师，拜太常卿。又命他随征吐谷浑，进左光禄大夫，渐加委任，岁余进为纳言，当时与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基等，被称为“五贵”，五贵中的其他四人都是工心计而邀宠取信之人，苏威和他们是格格不入的，炀帝之又逐渐重用这位在政治方面具有丰富经验和卓越成绩的先朝重臣，在政治上好像有所革新似的。但是，实际上只是利用苏威，装点他的政府之门面而已，炀帝的本性是改不了的，辽东之役将再兴，炀帝并命兼领左武卫大将军，进位光禄大夫，封房陵公。苏威此时虽然热衷于官场名位，但对局势的观察，还是很清楚的，他看到炀帝的所作所为，并没有多少前途，所以他以年老为理由，请求辞去官职；可是炀帝不许，只好任官如故。
辽东问题在文帝时曾经作过一次出征，当时朝臣均表反对，高颎谏阻尤力，但杨广在文帝面前已具有非常大的影响力，本于好大喜功的出发点，终于实现了，他以汉王谅为元帅，而以高颎为长史，军威虽壮，但淫雨连绵，疫疠横行，不利而返，高颎还因此受到独孤皇后的谗言，文帝从此益为疏远。炀帝亲政，这个问题认为仍须解决，可是他以文吏苏威为左武卫大将军，如果要他在军事方面负责任的话，却是一件极不适当的措施，这也许是苏威告老辞职的主要因素。
炀帝决定征辽东，原来定于大业七年（公元611年）就要发动的，因为这一年山东、河南大水，各地盗贼蜂起而中止。大业九年，终于发动了，是年元月，征募天下兵，称为骁果，集于涿郡，置折冲果毅、武勇、雄武等将以统之，四月，发兵十万，亲征辽东，以越王侗，民部尚书樊子盖任京都留守，以杨玄感驻黎阳，总办前方补给事宜。其时，民受重税徭役之苦，人心汹汹，兼以水旱之灾，各地纷起作乱，北方复有突厥时常寇边，内部纷乱如此，突厥为患又如此，炀帝绝不该在此时亲至辽东与高句丽作战，但是又有什么人像高颎那样敢于诤谏，苏威并不是不敢诤谏的，但他知道谏亦无用，所以默不做声，只是跟着杨广行动而已。炀帝此次出征，最不妥当的部署，是以杨玄感作后勤司令。
杨玄感是杨素之子，杨素本不是一个安分尽忠的人，好在那时候他已经死了，否则更糟。玄感少时痴呆，及长，好读书，善骑射，体貌雄伟，更美须髯。他在隋廷，并无功绩，他的官位，高至柱国，位居二品，都是由于他父亲的功勋而受到的荫庇，可是，他却因而骄矜，视满朝文武，只有极少数是他父亲的同僚，其余都是他父亲的僚属，于是目无余子，自以为了不起，颇有反意。吐谷浑之役，他就想突击炀帝行宫，其叔杨慎认为“士心尚一，国未有衅，不可图也”而止。于是玄感顿悟，要想反隋，非立功扬名不可，乃向兵部尚书段文振进言： 玄感世荷国恩，宠逾涯分，自非立效边陲，何以塞责?若方隅有风尘之警，庶得执鞭行阵，少展丝发之功。明公兵革是司，敢布腹心。（《隋书》卷七十《玄感传》）文振不知其诈，为言于炀帝，喜欢奉承的炀帝，反而嘉许之，谓郡臣曰：“将门必有将，相门必有相，故不虚也。”因而礼遇益隆，自此杨玄感颇预朝政。及炀帝征辽，乃命任督运之职。玄感得此机会，专以失败主义对付炀帝。所谓“失败主义”，就是使你失败，我才有成功机会，这种诈术，一千二百年前，杨玄感已在实行了，他实行的方法，是一切补给，不按时向前方输送，炀帝促之，他诡称水路多盗贼，输送日期无把握，遂使炀帝的前方部队，饥寒而败，他的反隋，胜算便高了。于是他更进行下列两个步骤： 其一，把他的兄弟辈如玄纵，万硕等之从炀帝征辽者，密予召回，以便共同反隋；其二，对来护儿施诈，来护儿者本奉命自东莱由海道攻平壤，尚未登舟，杨玄感派人伪装来自东方，散布假消息，谓来护儿误军期，惧罪而反。玄感遂以讨来护儿为名，起兵反隋，并向各县征兵。
玄感素有聪明能干的声名，炀帝对他的造反，内心甚感恐惧，只好请教于见多识广的苏威，他对苏威说：“此小儿聪明，得不为患乎?”苏威宽慰炀帝说：“夫识是非、审成败者，乃所谓聪明，玄感粗疏，非聪明者也，必无所虑，但恐寝成乱阶耳。威见劳役不息，百姓思乱。”苏威的看法是不错的，只是一个杨玄感造反，易于平复，问题的中心，是在劳役过重，而且没有终了的时间，百姓都在怨恨思乱，只怕乱端一起，不可收拾，他并乘此机会，又谏炀帝应该觉悟，除去乱源，才可以安天下百姓。他的话，前半段炀帝听得进的，后半段却无动于衷，至死不悟，于是炀帝偕苏威同返涿郡，以苏威安抚关中，以威孙尚辇直长环为行，其子夔原任鸿胪少卿，至此任为关中简黜大使，祖孙三人统在关中效命，炀帝至此，始认识苏威，继而重用，不过为时稍晚，且在大政方针上不从苏威之言，仍不能挽救其危亡。他们祖孙三人在关中的工作，颇见成效，炀帝乃下诏褒之曰： 玉以洁润丹紫，莫能谕其质，松表岁寒，霜雪莫能凋其采，可谓温仁劲直性之然乎?房公（威之封爵）威器怀温裕，识量弘雅，早居端揆，备悉国章，先皇重臣，朝之宿齿，栋梁社稷。辅弼朕躬，守文奉法，卑身率礼。昔汉之三杰，辅惠帝者萧何，周之十乱，佐成王者邵奭，国之宝器，其在得贤，参加台阶，且瞻斯元，虽复事借论道，终期献替铨衡时务，朝寄为重，可开府仪同三司，余并如故。（《隋书·威传》）从这封诏书来研究，炀帝把苏威比之萧何邵伯，称其德行识见，认为是社稷栋梁之臣，但对于苏威的建议，虽认为用心良苦，然并无采纳，祖孙三代同辅关中，而威又受开府仪同三司之贵，百姓与朝臣均以为殊荣，但炀帝对苏威不过加以利用，做些表面文章而已。
会突厥犯边，炀帝再一次的亲征，仍令苏威同往。但炀帝所部，反被突厥包围。炀帝情急，企图单骑溃围而出，苏威谏曰：“城守则我有余力，轻骑则彼之所长，陛下万乘之主，何宜轻脱?”由此可见炀帝是不知敌情的一勇之夫，而苏威则兼审敌我情况，老成持重，有恃无恐，炀帝从其议，太原援兵至，突厥亦自退，君臣因得安返太原。苏威见炀帝对他已言听计从，因进谏曰：“今则盗贼不止，士马疲敝，陛下还京师，深固根本，为社稷之计。”炀帝初以为然，但经不起左右小人如宇文述等的包围，径往东都（洛阳）并冶游 扬州 ，终于被宇文化及所杀，宇文述的谎言是“盗贼信少，不足为虞”，炀帝竟信之，但还召苏威咨询，苏威已深知炀帝的本意，他不愿与宇文述等辩难，因诡对曰：“臣非职司，不知多少，但患其渐近。”炀帝问其何意?威曰：“他日贼据 长白山 ，今者近在荥阳水间。”炀帝当时一心要到扬州去玩乐，因对苏威所言，大为不愉快，虽然暂时不去扬州，但其心已在东南矣。会五月五日端午节，百僚均以珍玩朝贺，唯苏威独献尚书一部，旨在讽示，炀帝更为不乐。炀帝又问他束征高丽事，苏答请先赦群盗，令伐高丽，炀帝因此大怒。
御史大夫看到炀帝对苏威生气，乃乘机令白衣张表上奏，言苏威“昔在高阳典选，滥授人官，畏怯突厥，请还京师”，炀帝不思伐辽的失败原因与还京出自他自己的本愿，反认张表所言，是苏威罪有应得，乃令人调查之，调查报告的结果一定证实了张表所说是事实，炀帝乃下诏免其官职，宣布其罪状说：“威立性朋党，好为异端，怀挟诡道，侥幸名利，诋毁诃律，谤讪台省，昔岁薄伐，奉述先志……而威不以开怀，遂无对命，启沃之道，其若是乎?资敬之义，何其甚薄?”于是免除其职务，赐为平民。我们试比较上面这两道诏书，前者恭维备至，后者责之深切。这两道诏书发出的时间，相去并不甚远，而判若两途，炀帝莫非神经有毛病?这无非是无道之君，爱之欲其生，恶之欲其死，苏威屡次的建议和答讯，都不合于炀帝之意，因此而衔恨在心，乘此机会发作，所谓“忠言逆耳”者是矣。
如果苏威乘此机会，回返乡里，度其平民生活，也是一个上好的下场，但是诬害他的人，仍然不肯罢休。月余以后，又有人密告苏威与突厥相通，阴谋不轨，这一下是要置苏威于死地了。炀帝得报，命大理负责办理此案，苏威至此，不得不有所申辩。他说：“奉事二朝三十余载，精诚微浅，不能上感，咎衅屡彰，罪当万死。”他的话，忠事隋廷二朝，罪在“不能上感”，语气中充满愤慨之意。炀帝对他，还算公道，这一件“谋叛灭族”的大罪，轻轻放过，仍令开释为民，及炀帝游江都，仍令随行，大有再予起用的可能。而裴蕴、虞世基等深恐苏威再被重用，乃以其“昏耄羸疾”，言于炀帝，炀帝因不再任苏威以官职。这倒并不是苏威的不幸，他的不幸，是他热心于官场，老而弥笃之咎。
宇文化及既害炀帝，天下更乱。苏威屡次建议，赦百姓，平群盗，其实都是事实。大业十一年，东海李子通据海陵；十二年，鄱阳林士弘据江南（今江西、广东），称楚帝；卢艺据涿郡；十三年，杜伏威据历阳（安徽和县）漳南（河北故城东北境）；窦建德据乐寿（河北献县），称长乐王；刘武周据马邑；梁师都据朔方（山西雁门关外），刘与梁均附突厥，突厥以武周为定杨可汗，武周则自称梁帝；郭子和据榆林，自称永乐王，突厥立为屋利设；薛举据陇西，称西秦霸王，旋至天水，自称秦帝；李威据河西，称凉王；李密据河南诸郡称魏公；沈法兴据江南浙西称梁王；李渊据太原称唐公；宇文化及据山东西北部称许帝；王世充据河南西部称郑帝；南朝萧梁之后的萧铣，则据巴陵，尽据两湖桂越之地称梁帝，梁慧让故据苍梧。此外还有小股的割据者，如河北之王薄、张金称、高士达，灵武之向瑜安，济阴之孟海公，河间之格谦与高开道，余杭之刘元进，吴郡之朱燮，晋陵（武进）之管峰，离石之胡人刘苗王，汲郡之王德仁，齐郡之孟让，上谷之王须拔、魏刀儿，城父（安徽亳县）之朱粲，鲁郡之徐圆朗，河南之卢月明等，其余散匪尚不胜枚举。这些割据势力，或是隋的地方官，或是势豪，或是盗匪，他们略地攻城，或互相并吞，天下已成纷崩离析之势，苏威所称杨玄感不足道，恐酿余患；又屡谏炀帝，要他赦罪安民，除叛治匪，都是金玉良言，而炀帝昏然不知，反信宇文述之言，以为“盗贼信少”，奢靡淫佚、好玩乐如故。只有一个苏威，诚有孤掌难鸣之感了。
但是苏威虽忠于隋室，而知天下将不可为，故对较大势力之割据者，常私与往来，以求保全，有失大丈夫出处进退节度，实其人格上之大污点，像炀帝这样的国皇，对他效忠，自可不必，但以苏威那样久秉国政的重臣，也应该具有他自己的风格，炀帝既被弑，他乘机退职为民，应为其最适当的自处之道。但苏威则不然，宇文化及既杀炀帝，自称许帝，以苏威为光禄大夫、开府仪同三司，受之。及宇文化及败亡，则归于李密，李密败亡，又归越王侗，为上柱国邳国公。秦王李世民攻密王世充，在京都（洛阳），苏威又往见之，而且倚老卖老，自称老病不能拜起。秦王不见，派人数其罪状曰：“公隋朝宰辅，政乱不能匡救，遂令品物涂炭，君死国亡，见李密、王世充，皆拜伏舞蹈。今既老病，无劳相见也。”秦王归长安，苏威又往见，仍不许，卒于家，年八十八岁。
从这一经过来看，苏威青少年与晚年，判若两人，晚年有贪恋禄位、爱惜生命的大缺点。生命诚可贵，但是他久历官场，在宦海浮沉者数十年，宁不知富贵有时而尽，时异势迁，行藏有节，任何做臣子的人，岂能一生富贵到底?苏威不失是一个通达政务、才识卓越的人。我们从另一角度来看，以他的才能，可以对国家社会做更多的服务，他之到处受任，也许可以看作为国家服务的积极精神。但是宇文化及、王世充、李密等岂是成事之人?他有官就做，其无识人之明，是显然可见的。李世民是一个宽厚大量之人，他善能吸收敌人方面的才能之人，如魏徵、尉迟敬德等都是由敌方投降过来的，他都能随材任职，悉得信任，其独拒苏威，且以大义责之，苏威就应该省悟，但一再求见，不识时务，已达极点。如果苏威有知人之明，能在李渊太原称尊时前往投之，则决不至于被奚落到这样地步。其能寿终，亦其幸也；其被世人所讥议，虽名留于后世，但逃不过史家的谴责，亦其自取之咎，较诸高颎之受人同情尊敬，不可相提并论了。
