三朝四黜倦遐征，往复皆愁万里程

唐穆宗即位，召为考功员外郎。元和十五年（820年）十一月，定京考官，他不避权幸，该升则升，该降则降。并上书言宰臣肖免等尸位素餐，平庸误国，为权臣所顾忌，言其性情粗放，越职言事，出为虔州刺史。长庆元年（821），调任江州刺史。