曾文肃初与蔡元长兄弟皆临川王氏之亲党，后来位势既隆，遂为仇敌。崇宁初，文肃为元长攘其相位。文肃以观文守南徐，时元度帅维扬，赴镇过郡，元度开燕甚勤，自为口号云：“并居二府，同事三朝。怅契阔于当年，喜逢迎于斯地。”又云：“对掌紫枢参大政，同扶赫日上中天。”谬为恭敬如是，而中实不然。已而兴狱，文肃遂迁衡阳。