1923年，吴芝圃以优异成绩考入省立开封二中。在这里，他如饥似渴地学习《共产党宣言》、《向导》、《新青年》等革命书刊，初步确立了为共产主义事业奋斗的远大志向，义无反顾地走上了革命的道路。1924年1月，中州大学（今河南大学）进步学生张海峰介绍他加入共青团，并和张海峰、马沛毅、杜孟模等人创办了风俗改良社，试图从社会风俗方面，革除旧礼教、旧习惯，达到改革的目的。同年夏天，吴芝圃转为中共党员，与张海峰等人将风俗改良社改组为河南社会科学研究会，团结中州大学、开封二中进步学生认真学习马克思主义，积极开展民主爱国反帝运动。1925年，他参加中共豫陕区委在中州大学举办的党员训练班，聆听王若飞、汪泽锴等无产阶级革命家讲党课。1926年春，中共豫陕区委荐送他往广州中央农民运动讲习所第六期学习。他学习努力，成绩优秀，受到毛泽东、周恩来、彭湃等革命领袖的称赞。1926年秋，他担任中共杞县中心县委书记兼地委农民运动部长，在他的直接领导下，杞县、睢县、永城等地的农民夜校普遍建立，农民成人革命教育得到迅速开展，成立了以他为首的杞县工农革命政权，使杞县成为北伐战争时期河南省最早推翻北洋军阀统治的县。此后，他历任中共豫西特委书记、中共河南省委组织部长、新四军第四师政治部主任、抗大四分校副校长、中原临时人民政府副主席等。

    1949年5月，吴芝圃被任命为河南省人民政府主席兼任国立河南大学校长。在新中国成立前夕，他果断地解决了发展国立河南大学的重大问题，决定河大设立文教学院、理工学院、农学院、医学院和行政学院，派接管组把搬迁到苏州的国立河大1200多名师生及图书仪器接回开封。他多次强调要把河大尽快建设成为新中国河南省的最高学府，以担负起培养革命和建设人才的重任。1950年6月，他和副校长张柏园、嵇文甫联名向全校发出转变作风的意见，重新建章立制，要求干部树立为教学服务、为群众服务的革命思想，强调各级干部应及时了解学生的学习、生活情况，做耐心细致的政治思想工作，妥善解决师生的思想问题和实际困难，保证了解放初期河南大学教学、科研工作的正常进行。

    吴芝圃在担任河南大学校长的一年半期间，一直坚持理论联系实际的方针，把政治理论教学和专业课程教学很好地结合起来。他作风民主，平易近人，工作再忙也能经常深入到师生中去，和师生交朋友。

    1950年10月，吴芝圃不再兼任河南大学校长职务。以后，他相继担任河南省省长、中共中央委员、中共河南省委第一书记、中共中央中南局书记处书记。1967年7月因病逝世于广州，年仅61岁。