秦始皇二十六年（前221），设衡山郡，郡治邾县（今湖北黄冈市北）。郡i之名称以今安徽省安庆市潜山县境内的天柱山、秦时名衡山为名，汉改天柱山。相当今鄂、豫、皖交界大别山脉周围一带。

    吴芮是鄱阳人(今江西余干)，为春秋时吴王夫差后裔。父吴申，秦始皇统一六国后，番邑首批置县，吴芮为县令，被称为“番君”。秦二世元年(前209 年)，陈胜吴广首先反秦，天下响应，吴芮宣布独立，英布率七千人投奔他，英布虽黥面刑徒，但吴芮并不藐视，以女妻之，命他率领一支以越人为主的武装，入淮与项梁军合，随项羽定三秦，入咸阳。另派梅鋗统军随刘邦入武关。

    秦亡后，西楚霸王项羽于汉王元年(前206 年)二月论功行赏，分封反秦功臣及旧贵族十八人为王，其中，以秦衡山郡地封吴芮为衡山王，衡山王国国都为邾(今湖北黄冈县境）。

    百越领袖吴芮分封为衡山王的原因，据《前汉书》所言：“率百越佐诸侯从入关，故立芮为衡山王，都邾。”，也就是说，吴芮因率部众随刘邦入关立有战功，又不断接济资助诸侯兵马，而且，吴芮的部下兼盟友英布，帮助项羽立下巨大的战功，故被项羽封为衡山王，名列天下十八王之中。他此时与刘邦、英布同为诸侯，平起平座，不分上下。

    吴芮的衡山王国的国都邾城，是天下闻名的江淮大邑，在秦末战火损失不严重，经济相对富足。衡山王国辖境相当于今湖北市黄冈市、河南省信阳市、安徽省六安市三市的范围。今黄州、团风、新洲、红安、麻城、浠水、蕲春、罗田等地皆为衡山王国辖境。基本上是当年吴楚争霸之时的柏举之战的主要战场。

    吴芮在被封为衡山王后不久，“项羽侵夺之地”。《史记• 项羽本纪》谈到，“项羽出之国……乃使徙义帝长沙郴县”，同时，“乃阴令衡山、临江王击杀之江中”。据日本汉学家泷川资言编撰的《史记会注考证》引清人洪亮吉之说，衡山王吴芮和临江王共敖抗拒执行项羽的命令，于是项羽只得再令英布派兵追到郴县把义帝杀了。可见，项羽要侵夺吴芮的封地，乃是因为吴芮没有听从他的指使去击杀义帝，而废除了他的封号，剥夺了他的封地。所以，刘邦在高祖五年(前202 年)的诏令中称吴芮为“故衡山王”、“番君”。实际上，项羽此时忙于战争，并无力控制衡山国的具体事务，衡山王国实际仍在吴芮的控制之下。

    项羽败亡后，吴芮通过部将梅鋗的关系，转而投奔刘邦，他凭自己占据的地盘和吴国君王后裔的贵族身份，与韩信等人上表称臣，拥戴刘邦为帝，拥戴书称：“楚王韩信、韩王信、淮南王英布、梁王彭越、故衡山王吴芮、赵王张敖、燕王臧荼昧死再拜言大王陛下：先时，秦为亡道，天下诛之。大王先得秦王，定关中，于天下功最多。存亡定危，救败继绝，以安万民，功盛德厚。又加惠于诸侯王有功者，使得立社稷。地分已定，而位号比拟，亡上下之分，大王功德之著，于后世不宣。昧死再拜上皇帝尊号”。吴芮从而成为西汉开国元勋。

    刘邦对吴芮在反秦起义中直接帮助过自己，在楚汉战争中站在自己一边，又是劝刘邦进帝位者之一的作为十分感谢。所以他一登上帝位，就于高祖五年(前202 年)颁布诏书，嘉奖吴芮：“故衡山王吴芮与子二人，兄子一人，从百粤之兵，以佐诸侯，诛暴秦，有大功，诸侯立以为王。项羽侵夺之地，谓之番君。其以长沙、豫章、象郡、桂林、南海立番君芮为长沙王。”就这样，高祖五年(前202 年)，刘邦封吴芮为长沙王，并将王都由邾城远迁长沙(今湖南省长沙市)。司马迁在《史记》中记载此事：“徙衡山王吴芮为长沙王，都临湘”，把吴芮封为长沙王称之为“徙封”。原衡山国改为衡山郡，归属此时己由项羽所封的九江王转为由刘邦所封的淮南王的英布的淮南王国。

    刘邦把吴芮从邾城迁到长沙，其原因大约是邾城是吴芮经营己久之地，刘邦不愿吴芮在邾城根基太深，有意削弱其势力，就把他从邾城徙往了“卑湿贫国”而又偏僻的长沙。吴芮因对吴氏始祖泰伯的让国至德高风景仰己久，对此毫不介意，完全继承了至德让王以天下苍生为念之泰伯精神，从湖北黄冈向西南方向迁徙六百里，到达湖南长沙，并一心一意经营长沙，造福一方百姓。

    吴芮对于王位与王权得与失，与吴泰伯一样是宠辱不惊，得王位泰然处之，失王位泰然处之，失而复得王位，同样是泰然处之。仲雍后裔吴芮与吴泰伯一样，不愧是泰然之伯。