崇宁三年，黄太史鲁直窜宜州，携家南行，泊于零陵，独赴贬所。是时外祖曾空青坐钩党，先徙是郡。太史留连逾月，极其欢洽，相予酬唱，如《江樾书事》之类是也。帅游浯溪，观《中兴碑》。太史赋诗，书姓名于诗左。外祖急止之云：“公诗文一出，即日传播。某方为流人，岂可出邪？公又远徙，蔡元长当轴，岂可不过为之防邪？”太史从之。但诗中云：“亦有文士相追随”，盖为外祖而设。