毫不留情。嘉靖三十年（1551年），御史王宗茂弹劾严嵩贪赃枉法、结党营私，严嵩恼羞成怒，在嘉靖帝面前诬陷王宗茂，最终王宗茂被降职外放。嘉靖三十二年（1553年），兵部员外郎杨继盛上疏弹劾严嵩“十大罪”，列举了严嵩专权误国、陷害忠良、贪赃枉法等十条罪状，言辞恳切，证据确凿。严嵩看到奏疏后，又惊又怒，他向嘉靖帝哭诉自己被诬陷，同时指使亲信弹劾杨继盛，称其“妄议朝政，沽名钓誉”。嘉靖下令将杨继盛逮捕入狱。在狱中，严嵩指使狱卒对杨继盛严刑拷打，想要逼迫他认罪，杨继盛却始终坚贞不屈。嘉靖三十四年（1555年），严嵩担心杨继盛会被释放，遂趁朝廷处决其他罪犯之机，将杨继盛的名字加入处决名单中，最终杨继盛被斩首于西市。
嘉靖三十八年（1559年），俺答汗再次率军入侵明朝边境，直逼京师。当时负责京城防务的大臣是仇鸾，仇鸾本是严嵩的亲信，却因与严世蕃发生矛盾而与严嵩反目。面对俺答汗的大军，仇鸾束手无策，只得紧闭城门，任由蒙古军队在城外劫掠。严嵩为了保住自己的地位，竟然向嘉靖帝建议“坚壁清野，不与交战”，导致蒙古军队在京城附近劫掠数日，满载而归。此次事件被称为“庚戌之变”，暴露了明朝边防的虚弱，也让嘉靖帝对严嵩开始心生嫌隙。
随着年龄的增长，严嵩的精力日渐衰退，对朝政的掌控力也大不如前。而严世蕃不仅大肆收受贿赂，还时常干预朝政，甚至敢对嘉靖帝的决策指手画脚。嘉靖四十一年（1562年），御史邹应龙因长期不满严嵩父子的专权，遂上疏弹劾严世蕃，列举了严世蕃贪赃枉法、生活糜烂、干预朝政等罪状。此时的嘉靖帝对严氏父子早已有所不满，再加上内阁次辅徐阶的暗中推动，遂下令将严世蕃逮捕入狱，随后又将严嵩罢官，令其回乡养老。
严嵩罢官后，徐阶成为内阁首辅，他深知严世蕃不死，严嵩仍有复出的可能，于是暗中搜集严世蕃的罪证。不久后，徐阶发现严世蕃勾结倭寇，意图谋反。徐阶立即将此事上报嘉靖帝。最终，严世蕃以“通倭谋反”的罪名被判处死刑，于嘉靖四十四年（1565年）被斩首于西市。
严世蕃死后，严嵩被削籍为民，家产也被查抄。此时的严嵩已八十七岁，失去了所有的权势和财富，只能寄居在老家的墓舍中，靠邻里的接济度日。嘉靖四十五年（1566年），严嵩在孤独与贫困中病逝，被一位老仆人草草埋葬在自家的祖坟旁。