米芾任涟水军知军，当地靠近产石的灵壁县，因此收藏了很多奇石，
他逐一鉴赏、冠上漂亮的名字，一进书房就整天都不出来了；
当时杨杰是他的上级观察使，接到米芾因欣赏石头而不管事的报告后，就亲自去调查，
进衙门后，正经跟他说“朝廷把千里之广的州郡交给你，你该积极治理、深怕有疏漏，
怎能整天把玩石头，一点都不注意政事？
尔后要专心办公，不然等被弹劾时，后悔也来不及了！”
米芾迳自上前，从左手袖子里拿出一颗石头，
上面自然颜色嵌镶得玲珑剔透、看起来有层层山峦与洞穴，色泽极为清润，
他慢慢将石头转面让杨杰看，说“像这样的石头，怎能不爱？”
杨杰不理他，结果他把石头收回袖子里，又拿出另外一颗，
上面也是山峰起伏重叠，又比刚才那颗更奇妙巧致；
秀完后收回，再拿出一颗自然形成、最为鬼斧神工的，
跟杨杰说“像这样的石头，怎能不爱？”
杨杰突然出声说“不只有你爱，我也爱。”
用迅雷不及掩耳的速度出手将米芾拿着的石头夺走，马上出门搭车离开。