正统三年，湖广巡按御史陈祚奏，衡山岳庙坍损，遂欲尽毁其后妃像设、寝殿朝堂，仅立坛壝斋室，以供祀事；且引宋儒张栻之言曰：“川流山峙，是其形也，而人之也何居？其气之流通可相接，而宇之也何居？”上下其奏于礼部。尚书胡濙、以为太祖更制神号，而不除像设，必有明见，所言不可行。上从之，命湖广布政司督修。按礼、五岳视三公，岂有无室无貌之理，陈祚祖、张敬夫陋野之谈，妄议祀典，已开张璁去孔庙圣像之端矣。