两淮抗金失利，主和派为求偏安一隅，纷纷主张对金退让。吴芾力排众议，建议高宗亲征，驻跸建康（今南京），“以系中原之望”。隆兴元年（1163），升礼部十郎。二年十一月，任敷文阁直学士临安知府，十二月，复威吏部侍郎。几经升迁，气质益坚。曾言：为管“视百姓当如父母，视公事当如私事；预期得罪于百姓，宁得罪于上官。”终为权臣所忌，出治太平州（今安徽当涂、芜湖辖境）。乾道五年（1169），以龙图阁直学士告老还乡，修小西湖于后里吴，终日从事著述。卒年80，谥康肃。墓葬于县西十里申岙，朱熹为其作神道碑文。著有表奏五卷，诗文30卷，今存《湖山集》十卷，收纂于《四库全书》。约生于宋徽宗政和中，约卒于光宗绍熙中，年八十岁。第绍兴进士。迁秘书正字。与秦桧有旧，及桧专政，芾退然如不识。桧疑之，讽言者论罢。后除监察御史，迁殿中侍御史。丙淮战不利，劝高宗亲征。帝至建康，请驻跸以繋中原之望；终不能用。孝宗即位，累迁记部侍郎，以刚直见忌，引去。旋起知太平州。以龙图阁直学士致仕，自号湖山居士。卒，谥康肃。芾为文豪健俊整，著有诗文三十卷，及表奏五卷，均《宋史本传》并传世。

《宋史·吴芾传》吴芾，字明可，台州仙居人。举进士第，迁秘书正字。与秦桧旧故，至是桧已专政，芾退然如未尝识。公坐旅进，揖而退，桧疑之，风言者论罢。通判处、婺、越三郡。知处州。处旧苦丁绢重，芾损之，以新丁补其额。何溥荐芾材中御史，除监察御史。时金将败盟，芾劝高宗：“专务修德，痛自悔咎，延见群臣，俾陈阙失，求合乎天地，无愧乎祖宗，则人心悦服，天亦助顺矣。”上韪其言。迁殿中侍御史。两淮战不利，廷臣争陈退避计，芾言：“今日之事，有进无退，进为上策，退为无策。”既而金主亮毙，上疏劝亲征。车驾至建康，芾请遂驻跸，以系中原之望，高宗纳其说。会有密启还东者，下侍从、台谏议，芾言：“今欲控带襄、汉，引输湖、广，则临安不如建康便；经理淮甸，应接梁、宋，则临安不如建康近。议者徒悦一时扈从思归之人，非为国计。臣恐回凿之后，西师之声援不接，北土之讴吟绝望矣。”又言：“去岁两淮诸城望风奔溃，无一城能拒守者，此秦桧壅塞言路、挫折士气之余毒也。能反其道，则士气日振，而见危授命者有人矣。”知婺州。孝宗初即位，陛辞，陈裴垍对唐宪宗“为治先正其心”，以为临御之初，出治大原，无越于此。上嘉纳。至郡，劝民义役。金华长仙乡民十有一家，自以甲乙第其产，相次执役，几二十年。芾舆致十一人者，与合宴，更其乡曰“循理”，里曰“信义”，以褒异之。知绍兴府。会稽赋重而折色尤甚，芾以攒宫在，奏免支移折变。鉴湖久废，会岁大饥，出常平米募饥民浚治。芾去，大姓利于田，湖复废。权刑部侍郎，迁给事中，改吏部侍郎。以敷文阁直学士知临安府。内侍家僮殴伤酒家保，芾捕治之，徇于市，权豪侧目。执政议以芾使金，复除吏部侍郎，且议以龙大渊为副，芾曰：“是可与言行事者邪？”语闻，得罢不行。下迁礼部侍郎，力求去，提举太平兴国宫。时芾与陈俊卿俱以刚直见忌，未几，俊卿亦引去。中书舍人阎安中为孝宗言二臣之去，非国之福。起知太平州。造舟以梁姑溪。历阳筑者久役溃归，声言欲趋郡境，芾呼至城下，厚犒遣之，而密捕倡乱者系狱以闻，诏褒谕。知隆兴府。芾前后守六郡，各因其俗为宽猛，吏莫容奸，民怀惠利。再奉太平祠，屡告老，以龙图阁直学士致仕。后十年卒，年八十。尝曰：“视官物当如己物，视公事当如私事。与其得罪于百姓，宁得罪于上官。”立朝不偶，晚退闲者十有四年，自号湖山居士。为文豪健俊整，有表奏五卷、诗文三十卷。