胡府的方向拼命跺脚，朱元璋觉得奇怪，登上城楼一看，果然见胡府墙内刀光闪闪。这个故事虽然被写进了不少史书，但后人大多觉得不靠谱——胡惟庸再傻，也不会把兵器摆在院子里等着被发现。不过这事儿能传得有鼻子有眼，足见当时人有多相信胡惟庸要谋反。
洪武十三年正月初六，朱元璋突然下旨：“胡惟庸谋反！”在胡惟庸上朝途中锦衣卫把他捉拿归案。当天，胡惟庸和他的核心党羽陈宁、涂节就被拉到闹市砍了头。但这只是开始，朱元璋要的不是一个人的命，而是要借着这个案子，把整个朝堂“大扫除”一遍。
接下来的十年里，这场清洗像水波一样越荡越远。凡是和胡惟庸吃过饭、写过信、甚至只是路上打过招呼的官员，一个个被揪出来。吉安侯陆仲亨被指控“与胡惟庸共饮，谋不轨”，被剥了皮填了草；平凉侯费聚因为“收胡惟庸金帛（金银绸缎）”，全家被抄斩。最冤的是韩国公李善长，他是朱元璋的“萧何”，早就退休回老家了，就因为他是胡惟庸的儿女亲家，七十七岁的老头子被活活勒死，全家七十多口人无一幸免。
《明史·刑法志》里说，这场案子“株连三万余人”，南京聚宝门外的刑场天天血流成河，刽子手换了一批又一批，后来连埋人的地方都不够了。民间传言，有一次朱元璋做梦，梦见无数冤魂围着他索命，他吓得下令把胡惟庸的皮剥下来，做成稻草人挂在午门外。有个叫王行的文人，因为给胡惟庸写过一篇文章，被抓的时候哭着说：“我只是个书生，写篇文章换碗饭吃，怎么就成了反贼？”可锦衣卫哪管这些，一刀下去，人头落地。
就在胡惟庸被处死的第五天，朱元璋颁布了一道震动天下的圣旨：“自古三公论道，六卿分职，不闻设立丞相。自秦始置丞相，不旋踵（没转一下脚后跟，形容时间极短）而亡。汉、唐、宋因之，虽有贤相，然其间所用者多有小人，专权乱政。今罢丞相，设五府、六部、都察院、通政司、大理寺等衙门，分理天下庶务（各种政务），事皆朝廷总之。以后嗣君不许立丞相，臣下敢有奏请设立者，文武群臣即时劾奏（揭发罪状），处以重刑。”
这道圣旨，宣告了中国延续一千六百年的丞相制度彻底终结。在这之前，丞相是“百官之长”，手里握着行政大权，有时候甚至能驳回皇帝的命令；现在好了，六部直接对皇帝负责，朱元璋成了中国历史上权力最大的“总经理”，每天要处理几百份奏章，经常熬夜到后半夜，他自己都说：“朕总览庶政，日以继夜，寝食不安。”
但朱元璋也不是铁打的，他后来设立了内阁大学士，帮他看看奏章、写写回复，这些人一开始只是五品官，权力远不如丞相。可他没想到，几百年后，这些“秘书”会慢慢变成实际的“宰相”，比如万历年间的张居正，权力比胡惟庸还大。
胡惟庸到底有没有谋反？现在看来，这事疑点重重。说他专权跋扈，那是真的；但要说他想推翻朱元璋自己当皇帝，实在有点说不通。《明史》里说他“通倭（勾结日本海盗）”“通虏（勾结蒙古）”，还派了个叫林贤的将领去日本搬救兵，可这些证据都是锦衣卫“审出来”的，犯人不招就往死里打，打急了什么瞎话编不出来？
更奇怪的是时间线。胡惟庸案发在洪武十三年，可李善长被牵连却是在洪武二十三年，中间隔了整