吕元直秉钧既久，又侍上泛海。回越益肆其功，自任威福。赵元镇为中司，上疏力排之。元直移元镇为翰林学士，元镇引司马温公故事，以不习骈俪之文，不肯就职，且辞且攻之，章至十数上，元直竟从策免，以优礼而去。元镇径除签书枢密院事，时建炎四年四月也。