开元二十三年 (735) 起，唐玄宗自觉天下太平，大宴五凤楼，
更邀请三百里内外刺史县令一同来欢庆，动辄五日五夜不休。
开元二十四年秋天，于唐玄宗生日喜宴上，满朝文武纷纷献上世间稀有的玩物，
唯独宰相张九龄上《千秋金鉴录》，唐玄宗表面上给予嘉许，但一直心里不是滋味。
隔年，唐玄宗充分展示了“从此君王不早朝”的典范，夜夜笙歌、不理正事，
也在张九龄如同连珠砲一般的劝谏下对此人感到万般的厌恶。
于是唐玄宗找个机会将张九龄叫到五凤楼中，当面罢黜了他的相位。
张九龄闻讯声嘶力竭地询问：
“圣上！臣，何罪之有？”
只见唐玄宗不疾不徐地摇了摇头，默默说出了四个字：
“叫朕回归”