宁宗庆元初年 (1195-1200)，韩侂胄弟弟任知阁门事，两人常常一起祕密商议政事，
当时人称“大小韩”，求升官发财者争相去钻营。
某天宫内宴会，演员穿着候补官员服装，说按自己的经历与能力应该得到好职位，
但却一直没被派任，从春季一直等到入冬了，都没看到个影子，
正在伤感叹气时，正好有个算命师戴着破帽、手拿纸扇走过，
就请他算算看自己何时能得官职；
演算命师的很大声说“你的命数很好，但命局中财帛宫稍有状况，
眼前如果想要发达，就先看看小寒(韩)，
如果希望更进一步，就要等大寒(韩)。”
宴会上的侍者听到后纷纷转头偷笑。
徽州祁门县的客栈，有个皇亲去参加会试途中经过时，在墙壁上题了一首诗：
“蹇卫冲风怯晓寒，也随举子到长安。路人莫作亲王看，姓赵如今不似韩。”
(蹇卫：驴子)