開始時，第五倫在太原和上黨之間運鹽，所過之處，他默默的把道路打掃乾淨，路人稱讚他，親友和熟人卻不知道。後來第五倫出任會稽太守。他自己鋤草餵馬，妻子下炊作飯。除了口糧，他的俸祿都到了貧苦百姓家。

他離開會稽時，郡中百姓攀住他的車馬，啼哭著跟著，最後第五倫悄悄乘船而去。蜀郡地肥民富，很多富人都擔任了官職。第五倫來到蜀郡後，改任貧寒有節操的人為官。賄賂之風最終被禁絕，他舉任的許多人最後官至九卿。

有人認為第五倫沒有私心，他說：「先前有人送我一匹千里馬，我沒有接受，也沒有任用此人，但每次選拔薦官員時，我心裡都無法忘記這事；我兄長的兒子生病，我一夜起來去看望十次，回來後能安然入睡，我的兒子生病，雖然沒去看望，卻整夜失眠。這樣看來，我怎麼能說沒有私心呢？」

（出自《後漢書》）