括苍山钟灵，永安溪毓秀。宋徽宗崇宁三年（1104），仙居田市吴桥村出了一位清官，他姓吴，名芾，字明可。宋高宗绍兴二年（1132），28岁的吴芾进士及第，步入仕途，任乐清县尉，调平江府（今江苏苏州）录事参军，升详定司敕令所删定官，负责圣旨的修改定稿，迁秘书省正字。

吴芾与秦桧系旧交，这时秦桧已当上宰相，权势熏天，炙手可热，许多人为了往上爬或保住官位，千方百计巴结讨好秦桧。吴芾不仅不讨好秦桧，还揭露他专权卖国的罪行。秦桧立即唆使监察御史上疏罢免吴芾，将其贬出京城，降为处州（今丽水）、婺州（今金华）、越州（今绍兴）通判。直至秦桧死后，朝廷才提升他为处州知府。

吴芾上任伊始，下属丽水、缙云、青田、龙泉等县按例献钱。吴芾严肃地对县令们说：“各县财政收入不足，你们想借此来讨好我，这样做难道不增加百姓的痛苦吗？”他严厉斥责他们全部拿回去。吴芾在处州知府任上采取多种措施，减轻老百姓的赋税和徭役，百姓有口皆碑。绍兴二十七年（1157），因政绩卓著，兵部尚书何溥举荐，吴芾升为监察御史。上任后，吴芾反腐倡廉，铁面无私，在肃贪的同时，他还举荐德才兼备、年轻有为的周操、陈良翰、陈良佑为御，招致时相万俟卨不满，于绍兴三十年（1160）以集英殿修撰身份出知婺州。他未入府衙，先作调研，调查下属金华、义乌、东阳、兰溪等县县令是否称职，对于特别贪婪怯懦不称职者，革职查办。府本级财政空虚，吴芾减税堵漏，坚决将贪官污吏置之于法。不到一两个月，府库充盈。

绍兴三十一年（1162），吴芾调任两浙东路安抚使，驻节越州。到任不久，有一宗室公子在市上巧取豪夺、鱼肉百姓，吴芾不畏豪强，立即将其逮捕入狱。宗正司派遣官吏气势汹汹地向吴芾要人，吴芾严词拒绝，并将此事如实上奏。皇上下诏支持，宗正司不得不将该公子绳之以法。一郡官吏悚服，人心大快。他还采取多种措施，减轻会稽县不堪重负的赋税。

吴芾为官清正、赏罚分明，孝宗乾道元年（1165），朝廷将他调任刑部侍郎，不久升给事中，乾道三年（1167）改任吏部侍郎，以敷文阁直学士身份知临安府（京都）兼任两浙东路安抚使。当他入宫向皇上谢恩时，一太监托他向皇上举荐某人做官，又托他办另一件事。吴芾断然拒绝：“我不能随随便便地举荐他人做官。至于你说的那件事，请到临安府去说，我一定秉公办理。”从此，太监们再也不敢以私事请托。大太监高思聪家的仆人公开行凶，打伤店小二，吴芾将他逮捕公开审判依法严办。一宗室贵族造佛堂杂于民居，藏匿包庇坏人，官吏不敢抓捕。而吴芾如实上奏获准后，全部予以拆除，当地权豪为此侧目，人心大快。吴芾的刚直引起了宰相史浩的嫉恨，将他降为礼部侍郎。后以微猷阁直学士出知隆兴府（今南昌市），兼任江南西路安抚使。

吴芾先后任六郡太守，政策宽严均视当地实际情况而定。民沾其惠，吏畏其威。乾道六年（1170），他以龙图阁直学士致仕（退休），淳熙十年（1183）卒，享年80岁。

吴芾常说：“爱惜公物应当像爱惜私物一样，对待公事应当像对待私事一样。”“与其得罪于百姓，宁可得罪于上官。”成了流传千古的名言。