胡铨不只忠直敢言轰动一时，书法也端正庄重劲挺。
孝宗曾跟他说“卿写的字，宛如你为人。”
胡铨回说“臣自幼学颜真卿，但如今已自成一家了。”
孝宗又说“朕前天在德寿宫侍奉太上皇 (高宗)，一起欣赏书画，
看到卿在绍兴八年 (1138) 的亲笔上书，太上皇跟朕一起细看了很久，
很喜欢卿用词精切、笔法老成，英风义气感觉浮现在纸上。
太上皇还亲自把它收藏起来，说‘留作后代模范。’
不过后面被秦桧批字涂抹、弄脏很多地方，
太上皇叫工匠一行一行将字剪裁下来，再另外装褙起来。”
宋朝皇帝中，高宗最擅长书法，胡铨的字连高宗都欣赏，可见其精美；
后世只称颂他请斩秦桧的上书，却大多不知道此点；
虽然胡铨上书而被秦桧排挤，但当时金人却用高价求那张上书，两个皇帝还如此珍藏。
张浚说“秦太师专权十九年，只成就了一位胡邦衡。”