钦宗时，蔡京被南贬，
途中又收到圣旨追讨他宠爱的侍妾慕容、邢、武三人，说是金人指名要的，
蔡京写诗跟她们道别：
“为爱桃花三树红，年年岁岁惹春风。如今去逐他人手，谁复尊前念老翁。”
蔡京被贬一路上，要跟民间市集买东西吃喝，
但一听说是蔡京要的，就拒不出售，甚至一路跟着骂随从，
蔡京在轿子里叹气说“我失人心，竟然到这种地步。”
到了潭州 (今湖南长沙)，填了一阕词：
“八十衰年初谢，三千里外无家。孤行骨肉各天涯，遥望神京泣下。
金殿五曾拜相，玉堂十度宣麻。追思往昔谩繁华，到此番成梦话。”
过几天就死了，门生吕辨筹钱草草安葬他。
以前蔡京听说海陵徐神翁写字送人非常灵验，就去求、得到“东明”两字，
大家都说是“东方向日明亮”之意，一定是说未来更为富贵，
结果蔡京被贬，死在潭州城南五里外的东明寺。
吕辨是蔡京的门生，蔡京被罢官后，所有人都鸟兽散，只有他一路陪到潭州，
他趁机问蔡京说“大人见识深远、博古鉴今，当初没想到国家政治会成现在这样？”
蔡京回答“不是不知道，只是以为我可以躲过。”