先在长江上游打造水师，训练士兵，待时机成熟，再兵分多路，水陆并进，直捣陈都建康。”隋文帝阅后大喜，当即采纳杨素的建议，任命他为信州总管，驻守永安（今重庆奉节），负责督造战船、训练水师，为伐陈做准备。
永安地处长江上游，是扼守长江的战略要地。杨素到任后，立即投入到水师建设之中。他深知，水师的核心在于战船与士兵，故在战船建造上不惜工本，亲自设计监造，打造出多款性能优越的战船。其中最着名的，便是“五牙舰”——此舰高十余丈，分为五层，每层皆设有舱室与作战平台，可容纳士兵八百人；舰体两侧装有六根“拍竿”，每根拍竿长五十余尺，末端系有巨石，战时可借助机械装置将拍竿甩出，砸击敌船，威力巨大。此外，还有“黄龙舰”，可容纳士兵百人，船体轻便灵活，适合快速突击；“平乘舰”“舴艋舰”则体型更小，适合侦察与短途作战。
在训练士兵方面，杨素更是严苛。他挑选士兵时，不仅要求体格健壮，更注重水性与战术素养，每日亲自督导训练，从水上列阵、战船协同，到登船作战、近身搏杀，无一不细致讲解。对于训练中表现优异者，他会给予丰厚赏赐；对于懈怠者，则严厉惩处，绝不姑息。《隋书》中记载，杨素治军“军令严肃，有犯必诛”，但他也深知士兵疾苦，时常体恤下属，故麾下士兵皆愿为其效死，水师战斗力日益强盛。
经过三年的准备，隋朝水师已初具规模，伐陈的时机也逐渐成熟。开皇八年（公元588年）十月，隋文帝任命晋王杨广、秦王杨俊、清河公杨素为行军元帅，兵分八路，共计五十一万大军，水陆并进，正式发动伐陈之战。其中，杨素率领的水师，便是西路军的核心力量，负责从永安出发，顺江而下，突破陈朝长江防线，牵制陈朝水师主力，为东路军进攻建康创造条件。
杨素率领水师东进的第一站，便是陈朝驻守的狼尾滩（今湖北宜昌西）。狼尾滩地势险要，滩多水急，陈朝将领戚昕率领青龙舰百余艘，驻守于此，并在滩头设置栅栏，妄图凭借天险阻挡隋军。杨素率军抵达狼尾滩后，并未急于进攻，而是亲自勘察地形，分析陈军部署。他对麾下将领说：“狼尾滩滩险水急，若白天强攻，我军战船难以操控，必遭陈军阻击；且陈军依仗天险，防备必然松懈，不如趁夜袭之，必能一举破敌。”
当晚，杨素亲自率领数千艘黄龙舰，借助夜色掩护，悄悄逆流而上，逼近陈军大营。同时，他派部将王长袭率领步兵，从陆路绕至陈军背后，准备突袭；派部将刘仁恩率领骑兵，沿长江南岸疾行，截断陈军退路。三更时分，隋军发起总攻，王长袭率领的步兵突然冲入陈军大营，刘仁恩的骑兵也及时赶到，截断陈军后路，杨素则率领水师从正面猛攻。陈军毫无防备，顿时大乱，士兵四散奔逃，戚昕见大势已去，只得率领残部弃船逃走。
狼尾滩一战，隋军大获全胜，不仅击溃了陈朝的第一道长江防线，更缴获了大量战船与粮草，极大地提振了隋军士气。战后，杨素率领水师继续东进，沿途发布檄文，历数陈后主的荒淫无道，劝谕江南百姓归附隋朝。江南百姓本就对陈后主不满，见隋军纪律严明，秋毫无犯，纷纷归附，杨素的水师一路势如破竹，很快便抵达了陈朝的第二道防线——歧亭（今湖北宜昌西北）。
歧亭乃是长江中游的重