自从吴国开氏始祖太伯廿三世孙吴王夫差于公元前473年被越国灭亡，勾践毙夫差于余杭山卑犹亭，吴国王子王孙先前己四散避难。据<吴氏宗谱>载；吴王夫差被越国灭亡后，越王勾践命人斩草除根，杀戮吴王夫差后人，于是，太子鸿和王子徽的子女，分别从安徽休宁翻过虎头山和婺源嶂公山隐匿到了浮梁的瑶里、九龙、西湖、江村、兴田、金竹山、南安、寿安、鹅湖、蛟潭、三龙、福港等地驻扎了吴国南溃兵马生存下来。

吴芮是太伯的第廿九世孙。吴芮在小时候十分聪颖，很受祖父疼爱，经常对他讲祖上的故事，回忆吴国的辉煌和富饶，讲解历史上的种种教训，从医学角度讲解易学的辩证道理，从棋艺中讲解当年祖先里著名军事家吴起的兵法、阵法。从小教他健身强体，练习拳脚武艺。经常和爷爷为伴爬山采药，听爷爷讲祖公公太伯爱民如子的开国故事。他打猎捕鱼，饲养家禽，参加农业劳动。

青年时代的吴芮，经常研究《孙子兵法》和《吴起兵法》，带着吴氏族人子弟和当年跟随一起南下军士的后代演练阵法。公元前214年，吴芮见到徐福，徐福是一个富于冒险精神，涉猎广泛，精通儒墨道兵医各家的人，徐福祖上曾在吴国任御医，随太子友(太子鸿)一起南下到瑶里，其后人也一直以医传世。徐福到瑶里，吴芮的父亲吴申热情接待了他，而吴芮特别喜欢听这位走南闯北的朋友讲天下见闻。徐福特别看重吴芮兄弟俩，尤其是吴芮的弟弟吴莚，吴莚由于长期采药打猎，练就一身好武艺、好箭法，吴莚也想走出去见识一下世面，于是，吴莚从旧部后代中又挑选十几个能医善猎、有武艺、还会制陶、会种植药园的青年作徐福的弟子和侍卫，离开家乡随徐福而去。这一去，吴莚他们再也没有回来，据说，随徐福走遍名山大岳，四处奔波行医，最后随船携三千多人东渡入海到日本去了。

公元前278年，位于湖北江陵的楚国都城郢城被秦攻占，楚王室东迁至安徽寿春，秦军追击楚国王室，无暇顾及番越地带。在战国时代末，兵荒马乱，散兵游勇四处抢劫，吴芮不忍看到乡亲受到损害，组织队伍抗击流寇。吴芮为人宽厚，对于散兵游勇，只要不袭扰百姓，一律给予出路。在乡亲们的支持下，队伍不断扩大，他十八岁时就统制兵马一万七千多人，分布在通向浮梁的各处要道，这支部队军纪严明，很受百姓拥戴。他的母亲梅氏为人十分贤慧，要他藏兵于民，兴农兴商。所以，他的部队吃穿不缺。在那时候，浮梁没有地方政权。吴芮派出自己队伍中的得力骨干到四乡发展，其势力范围北到安徽祁门，东到赣浙边界，南到福建，西到都昌鄱阳。公元前207年农历2月秦国面临各地义军武装割据的局面，采纳左相李斯谏言，稳定南方，阻止百越地区背叛，封吴芮为番君。“番”字的含义就是土著种田人的意思，“君”不是指君王，意思是指用一个竹子做的束发的帽子“冠”，即给吴芮管理整个番地区的最高行政长官职权的封号，不给财政支持也不收税。吴芮父亲并不高兴他做什么官，只希望他爱护百姓，但同时也希望彻底解决吴越相争之后吴氏后裔隐蔽生活的局面。吴芮很希望象他的祖辈一样也找一个象太湖一样的地方发展事业，他爷爷给他一张“太衍水”(今昌江河)流域图，希望借朝廷给予的合法身份要他出去打天下，吴芮牢记家中长辈嘱咐，带着自己的队伍，告别乡亲，离开瑶里。从此以后，吴芮开始了新的征途。

从水路进入鄱阳湖后，吴芮靠岸建城，立为据点，这就是今日的鄱阳县。后来清人蒋士铨有七古咏：其中道“暴虐当时苦秦政，独有番君重民命。抚字能仁杀贼勇，汉家名将秦时令。……丈夫功业立天下，生王死神宁苟且？江湖民心亦易得，在尔鄱阳后来者。”在鄱阳，吴芮首先用强硬手段清除盗匪劣徒势力，积极发展民生大计，开通航运，开发渔产，推广农业。