生前坎坷落寞，身後榮名備至，才人高士的際遇，往往如此。宋代並稱「蘇黃」的蘇軾、黃庭堅兩人，因為不容於蔡京、趙挺之等當政者，結果惹來莫須有的文字禍，分別被遠貶到海南、廣西，雙雙客死他鄉。他們的名字均列入蔡京所立的「黨人碑」，被罵成是反對「新法」的姦黨，詩文書畫一概銷毀。一些本來關係密切的人士，為了避嫌，也遮遮掩掩地和他們劃清界線。
清•上官周《黃庭堅》
等到宋室南渡，已把杭州作汴州的時候，黃庭堅的身價忽然高漲起來，那是因為宋高宗趙構很喜歡黃的詩和書法，令人到處蒐集他的手跡和作品。上有所好，下邊的人自然賣力，不但是詩文書畫，連黃庭堅的日記居然也被蒐羅來進獻高宗。這部日記名叫《家乘》，黃庭堅直到被流放廣西宜州，仍然沒停止記。宋高宗得到這部手稿，愛不釋手，天天放在御書房桌上，一邊欣賞其書法，一邊也玩味其內容。他發現日記裡多次提到一個叫「信中」的人，看來是黃庭堅在宜州時的知交，於是把黃庭堅的外甥徐俯召來，和顏悅色地問他知不知道「信中」究竟是誰。
因為甥舅關係，徐俯年輕時頗得黃庭堅指點（黃寫給他教導如何寫詩的信至今還收在黃的文集裡），並被當時人列入以黃為鼻祖的江西詩派。有人稱讚他「外甥像舅」，他也沒拒絕。但當黃庭堅被扣上了「姦黨」的帽子之後，他便不肯承認這個事實了，不但不承認從舅舅那兒學得了本領，甚至連這樣決絕的話都說出來了：「涪翁之妙天下，君其問諸水濱；斯道之大域中，我獨知之濠上。」那意思是：你們說黃庭堅（涪翁是黃庭堅的號）詩文妙絕天下，這事兒我不清楚，你們愛上哪兒打聽就到哪兒打聽去；至於寫作之道嘛，我自有心得，這可是自家修行得來的。
清•王素 《二十四孝•黃庭堅親滌溺器》
不過正所謂此一時也、彼一時也，賞識黃詩、黃字的高宗上臺之後，徐俯的態度馬上又變回來了，套用王維詠西施的話就是：「君寵益嬌態，君憐無是非。」他以黃氏外甥的身份被徵召為翰林學士，搖身一變成了黃庭堅研究專家。高宗指示他為黃庭堅的墨跡寫題跋，他感恩戴德地說：「我舅父的文章妙絕天下，承蒙陛下您賞識，擺在御案上隨時觀覽，他可真是雖死猶榮啊！」但顯然，徐俯對舅舅在宜州的那段流放生活也很生疏，壓根兒不知道這個「信中」是誰，不過既然曾與黃庭堅零距離接觸過，就不能「不知為不知」，他斟酌了一下回答說：「宜州乃嶺外荒陋之地，‘信中’之流，不會是什麼風雅的士人，或許是個和尚罷。」高宗點點頭，沒再說什麼。
其實，「信中」乃是黃庭堅在宜州時的朋友範寥的字。範寥此時正在福建做官，高宗假使知道這些，很可能徵召他去談談黃的晚年生活，範也不難由此獲得升遷機會。然而高宗聽了徐俯的話，便放棄了打探的念頭，範寥最終也沒沾上黃的光而發達起來。不過在這種「黃庭堅熱」的大氣候下，到底還是有人知道範寥與黃的關係，他也將黃晚年的境遇講給人們聽：
黃庭堅被流放到宜州後，正如徐俯所說，這是嶺外荒陋之地，設施很不完備，州裡沒有亭驛（招待所），連民居也租借不到。本來有一處寺廟可以住，但這所寺廟偏偏是崇寧萬壽寺，皇家專用的，依照法令不許住人，黃庭堅只得住進城樓上一間小屋，屋裡又潮濕又狹窄，當秋老虎肆虐的時節，簡直沒法兒待，黃庭堅就在這樣的地方苦捱。有一天忽然下了一陣小雨，暑氣暫消，頓得清爽，黃庭堅小酌了幾杯，喝得微醉，他坐在凳子上，把雙腳從欄杆中間伸出屋外去淋雨，一臉滿足的神情，回過頭來對來訪的範寥說：「真是暢快呀！信中老弟，我這一輩子都沒這麼暢快過！」過了不久，黃庭堅就病死了。
記下這個故事的，是後輩詩人陸游。
後人稱讚黃庭堅自從第一次被貶黔州之後，詩藝大進，句法尤高，堪稱天下之奇作。歐陽修在《梅聖俞詩集序》裡有個著名的論斷：「蓋愈窮則愈工，然則非詩之能窮人，殆窮者而後工也。」這個窮，不光指物質貧乏、住一間又小又破的屋子，更主要的是指政治、仕途上的窮愁潦倒。黃庭堅的遭遇，恰給這段話又下了一個註腳：窮途到只能寫詩的時候，焉能不好？
