不仅如此，蔡京一路还遭到民众的辱骂，沿途州县官吏也如同赶瘟神一般驱赶他。
饱尝世态炎凉之后，蔡京也不由得感慨道:“京失人心，何至于此。“
一路凄风惨雨的到了潭洲，蔡京身心俱疲，写了一首《西江月》的词来表达自己的心境:
“八十衰年初谢，三千里外无家，
孤行骨肉各天涯，遥望神州泣下。
金殿五曾拜相，玉堂十度宣麻，
追思往日谩繁华，到此翻成梦话。“
蔡京这首词对一生的荣华富贵进行了回忆，充满了感伤之情。
其后不久，失落的蔡京因病死于潭州崇教寺，终年八十岁。
众叛亲离的蔡京死后，他的门人吕川卞还算有良心，凑钱将他安葬。
吕川卞为蔡京写墓志铭时，留下了“天宝之末，姚、宋何罪”的语句，为自己的老师鸣不平，认为金兵入侵不能归罪于蔡京。
天宝是唐玄宗盛世年号，而姚崇和宋璟是天宝年间的贤相，为大唐的强盛做出了很大贡献。
吕川卞的意思是，天宝末年的安禄山叛乱与姚崇和宋璟二位贤相无关，同样的，金军南侵也与前宰相蔡京无关。
蔡京死后，蔡攸也被贬到永州，后又贬到了雷州。
蔡攸被放逐到雷州后，接着朝廷又派使者追到雷州将其赐死。