康与之在高宗朝负责帮皇帝创作诗词奏章，跟宫内服侍高宗的太监很要好。
睿思殿有支画了徽宗人像的扇子，画工非常卓越，
高宗时常拿着赏玩到流泪，因想起远在北国的父亲；
太监当班结束后，偷偷把扇子带回家去，
正好康此时来访，太监就招待他喝酒，还把扇子拿出来现，
康让太监进去多准备些下酒菜，然后趁机拿起书桌上的笔沾满墨，在扇子上题诗：
“玉辇宸游事已空，尚余奎藻绘春风。年年花鸟无穷恨，尽在苍梧夕照中。”
太监出来之后看到，大为恐惧，但康已经喝醉了，也拿他没办法，
隔天进宫向高宗磕头领罪，高宗大怒，赶紧拿扇子来看，
但看了康题的诗之后，气就消了，只有感觉伤心而已。