但是明太祖總不放心那些幫助他開國的功臣。他設立一個叫做「錦衣衛」的特務機構，專門監視、偵察大臣的活動。大臣在外面或者家裡有什麼動靜，他都打聽得一清二楚。誰被發現有什麼嫌疑，就有被打進牢獄甚至殺頭的危險。
明太祖對待官員極其嚴酷，大臣上朝的時候惹他發了火，就在朝廷上被按在地上打板子，叫做「廷杖」，也有被當場打死的。這種做法弄得一些大臣們個個提心吊膽，每天上朝的時候，都愁眉苦臉地向家裡親人告別。如果這一天平安無事，回到家裡，親人就高高興興慶幸他又活了一天。
公元１３８０年，丞相胡維庸被告發叛國謀反，明太祖立刻把胡維庸滿門抄斬，還追究他的同黨。這一追究，竟株連文武官員一萬五千多人。明太祖一發狠心，把那些有胡黨嫌疑的人全殺了。
學士宋濂，是明朝開國初期跟劉基一起受明太祖重用過的；後來，又當過太子的老師。宋濂為人謹慎小心，但是明太祖對他也並不放心。有一次，宋濂在家裡請幾個朋友喝酒。第二天上朝，明太宗問他昨天喝過酒沒有，請了哪些客人，備了哪些菜。宋濂一一照實回答。明太祖笑著說：「你沒欺騙我。」原來，那天宋濂家請客的時候，明太祖已暗暗派人去監視了。後來，明太祖在朝廷上稱讚宋濂說：「宋濂伺候我十九年，從沒說過一句謊言，也沒說過別人一句壞話，真是個賢人啊！」宋濂六十八歲那年告老回鄉，明太祖還送他一幅錦緞，說：
「留著它，再過三十二年，做件百歲衣吧！」
胡維庸案件發生後，宋濂的孫子宋慎也被揭發是胡黨，於是株連到宋濂。明太祖派錦衣衛把宋濂從金華老家抓到京城，要把他處死。
這件事讓馬皇后知道了。馬皇后勸明太祖說：「老百姓家為孩子請個老師，尚且恭恭敬敬，好來好去，何況是皇帝家的老師呢。再說，宋先生一向住在鄉下，他孫子的事他怎麼會知道？」
明太祖正在火頭上，不肯饒恕宋濂。當天，馬皇后陪明太祖吃飯。她呆呆地坐在桌邊，不沾酒，也不吃肉。明太祖感到奇怪，問她是不是身子不舒服。馬皇后難過地說：「宋先生犯了死罪，我心裏十分難受，在為宋先生祈福呢。」
馬皇后是跟太祖年青時候共過患難的夫妻，明太祖平時對她比較尊重，聽她這一說，也有點感動，才下令赦免宋濂死罪，改罰充軍茂州（今四川茂縣），七十多歲的宋濂，禁不起這場驚怕，再加上路上勞累，沒到茂州就死了。
過了十年，又有人告發李善長和胡維庸往來密切，明知胡維庸謀反不檢舉揭發，採取觀望態度，犯了大逆不道的罪。李善長是第一號開國功臣，又是明太祖的親家。明太祖大封功臣的時候，曾經賜給李善長兩道免死鐵券。這一年，李善長已經七十七歲了，可是明太祖一翻臉，把李善長和他的全家七十幾口全部處死。
接著，又一次追查胡黨，處死了一萬五千多人。
自從胡維庸案件發生以後，明太祖覺得把軍政大權交給大臣不放心，就取消了丞相職位，由皇帝直接管轄吏部、戶部、禮部、兵部、刑部、工部六個部的尚書（官名，部的長官）；又把掌握軍權的大都督府廢了，改設左、右、中、前、後五個都督府，分別訓練兵士，需要打仗的時候，由皇帝直接發布命令。這樣一來，明朝皇帝的權力就大大集中了。
事情並沒到這裡結束。過了三年，錦衣衛又告發大將藍玉謀反。明太祖殺了藍玉，追查同謀，又有文武官員一萬五千多人受株連被殺。
這兩件大案，幾乎把朝廷一些功臣一掃而空，明太祖的專制和殘暴在歷史上也就出了名。
