汉建武三年(公元27年)春，吴汉率领建威大将军耿弇、虎牙大将军盖延进攻驻屯在河内郡轵县(今河南济源)地区的青犊农民军，最后迫使这支起义军投降。之后又率领骠骑大将军杜茂、强弩将军陈俊等南下攻打割据梁地(今河南东部)的梁王刘永，困其大将苏茂于广乐(今河南虞城)。刘永手下另一大将周建率兵十余万人前来救援，吴汉以轻骑接战。初战失利，坠马伤膝，只得还营养伤，诸将对他说：“大敌当前而公伤卧，众心惧矣！”吴汉乃勃然裹创而起，椎牛饷士，士气大振。次日天明，周建、苏茂出兵围吴汉军。吴汉选精兵为前锋，奋力还击，结果大破之。苏茂、周建弃城突围出走。吴汉留杜茂、陈俊守广乐，自率大军与盖延围刘永于睢阳(今河南商丘)。不久，城中食尽。刘永、苏茂、周建等弃城出走，刘永部将庆吾杀永以降。于是梁地宣告平定。

汉建武四年(公元28年)，吴汉又先后率领陈俊、王梁、耿弇、王常等扫荡河北农民军余部五校、富平、获索等各路农民军。第二年(公元29年)吴汉随汉光武帝东征董宪。东海郡人董宪，王莽末年起兵攻占郡城，同时琅邪郡人张步亦起兵攻占琅邪郡。归附更始政权的梁王刘永，遣使拜董宪为翼汉将军，张步为辅汉将军。刘永逝世后，其子刘纡为主。后来在汉兵追击下，刘纡与其将苏茂先后逃奔东海，与董宪合兵。汉建武五年(公元29年)，汉光武帝派遣平狄将军庞萌与虎牙大将军盖延共击董宪，诏书只下到盖延处，庞萌怀疑汉光武帝听信盖延谗言不信任他，遂发兵反叛，与董宪合流。汉光武帝闻知大怒，率兵亲征庞萌、董宪。吴汉先后在东海郡之新阳、建阳(今山东枣庄)等地击败董宪。后来董宪逃至郯县(今山东邦城)，吴汉又率军攻克之。董宪与庞萌乃南下退保朐县(今江苏连云港)，吴汉又跟踪追击进围朐城。第二年(公元30年)城中粮尽，吴汉遂下其城，董宪，庞萌逃出，但先后被人追斩；同时张步亦被斩，苏茂投降。东方诸郡国完全平定。

关东平定后，汉光武帝以陇、蜀未平，令吴汉率军入关中镇守长安。汉建武八年(公元32年)，吴汉随汉光武帝西征隗嚣，与岑彭围隗嚣于西城，关中诸郡甲卒亦奉调围城。汉光武帝将东归，告诫吴汉说：“诸郡甲卒但坐费粮食，若有逃亡，则沮败众心，宜悉罢之。”吴汉与诸将以兵多势众，贪图留诸郡兵以借其力，遂不遵命，后来果然粮食短缺，士卒逃亡。隗嚣部将行巡，周宗亦率所借蜀兵前来救援，吴汉终以军粮不继而告败退。直至汉建武十年(公元34年)，隗嚣割据势力才得以平定。

汉建武十一年(公元35年)，吴汉奉命率征南大将军岑彭自荆州入蜀讨伐公孙述。岑彭攻破荆门后，率领大军长驱入