两淮抗金失利，主和派为求偏安一隅，纷纷主张对金退让。吴芾力排众议，建议高宗亲征，驻跸建康（今南京），“以系中原之望”。隆兴元年（1163），升礼部十郎。二年十一月，任敷文阁直学士临安知府，十二月，复威吏部侍郎。

几经升迁，气质益坚。曾言：为管“视百姓当如父母，视公事当如私事；预期得罪于百姓，宁得罪于上官。

”终为权臣所忌，出治太平州（今安徽当涂、芜湖辖境）。乾道五年（1169），以龙图阁直学士告老还乡，修小西湖于后里吴，终日从事著述。卒年80，谥康肃。墓葬于县西十里申岙，朱熹为其作神道碑文。

著有表奏五卷，诗文30卷，今存《湖山集》十卷，收纂于《四库全书》。约生于宋徽宗政和中，约卒于光宗绍熙中，年八十岁。第绍兴进士。迁秘书正字。

与秦桧有旧，及桧专政，芾退然如不识。桧疑之，讽言者论罢。后除监察御史，迁殿中侍御史。丙淮战不利，劝高宗亲征。

帝至建康，请驻跸以繋中原之望；终不能用。孝宗即位，累迁记部侍郎，以刚直见忌，引去。旋起知太平州。以龙图阁直学士致仕，自号湖山居士。卒，谥康肃。芾为文豪健俊整，著有诗文三十卷，及表奏五卷，均《宋史本传》并传世。