高筑土阶，阶上建阁，阁北筑廊直至杜水，更于水上架桥，直通宫内。
天台山极顶修建大殿，阔五间，深三间；殿前有南北长廊，人字拱顶，迤延宛转。
大殿前端有两阙，比例和谐。
天台山东南角又建大殿，东西走向，四周有殿宇群阁拱卫，称为九成之宫，各以大宝殿、丹霄殿、咸亨殿、御容殿、排云殿、梳妆楼等为名。
屏山之下，复聚杜水成湖，称为西海。
只因宫殿位处碧城山顶，山上水源困乏，遂从北马坊河谷以轮汲水上山，列水磨以供宫内。
宫城内由西向东，更筑有地下水道，以规则石料衬砌，直通城外。
更有外城，延展数十里之广。
避暑离宫营造之役，自开皇十三年二月开始施工，至开皇十五年四月方告竣工。
杨素监修离宫，便如平时用兵打仗，督工极为严酷，不分春夏秋冬，更是夜以继日。
由是民夫疲顿颠仆，辗转哀苦，死亡万人以上。
杨素不准下葬掩埋，命将民工尸体皆都推入深坑，盖土筑为平地。
秦始皇修建长城之时，亦未见得如此严酷。
工程告竣，报予朝廷，隋文帝杨坚派大臣前往视察。
大臣验工后返京回奏：其宫豪奢，颇伤绮丽，大损人丁。
杨坚闻奏大怒，下诏斥责杨素道：因你急功近利，却为朕结怨天下！
杨素闻而大惧，惶恐不安，将天子责诏示于土木监封德彝，向其求计。
封德彝笑道：越国公何必如此？天子虽然见责，但皇后必有恩诏。
其后未几，果然独孤皇后召见杨素，当面慰劳：卿知我夫妇年迈，无以自乐，故盛饰此宫，岂非忠孝。
自古帝王之法，便有离宫别馆先例。
今天下太平，卿造此宫，何足损费！
杨坚听罢皇后之语，果然转怒为喜，遂又大赞杨素，更赐钱百万，锦绢三千段。
杨素得此重赐，深感封德彝先见之明，并请天子为离宫赐名。
文帝说道：古语云，尧舜行德，而民长寿。
可取其美意，命为仁寿宫。
众臣闻之，皆都称赞。
开皇十五年夏，文帝诏命前往仁寿宫避暑，又命杨素监修驰道，役夫暴于烈日之下劳作，死者相次于途。
杨素依如前例，下令聚尸成堆，浇油焚之。
杨坚在仁寿宫中扶栏远望，见宫阙之间磷火弥漫，隐有哭声四起。
因不知是何缘故，于是派人前往察看。
使者回报：皆因尸骨有暴露于外者，便成鬼火。
所谓哭声，乃是已死役夫鬼魂作祟。
杨坚惊悸，遂派人酾酒祭奠。
当夜杨素值宿偏殿，梦一白须白老者直入寝卧，当面斥道：我乃鬼谷门兵家派主，王敖祖师是也。
你枉居我派掌门之位，害民如此，得无愧乎？
说罢凌空一指，点中杨素额头印堂大穴，隐而不见。
杨素惊醒，便觉头痛欲裂，由此得疾不愈，时而复。
皇后独孤氏善妒，严禁杨坚与其他女人接近。
隋文帝在仁寿宫避暑期间，看上一位宫女，退朝之后就便临幸，爱如珍宝。
未料其内