州山吴氏一支大分第五世孙吴舜，字子华，号细山，从小就聪明好学，老师、长辈们都对他有经世济民的期待。十九岁时参加成化二十二年的乡试，得到了主考官的大力推荐，但因为父亲卧病在身，不忍离开参加礼部考试。3年后，吴舜按照父亲的要求，吴舜到京城苦学，深得长沙李西涯的赏识，于弘治六年考取进士，授翰林院庶吉士。　　

两年后，吴舜父亲吴琢病亡，吴舜在家居丧三年。期满后，被任命为吏科给事中。在吏科给事中任内，吴舜刚直敢言，不避权贵。逢弘治十七年考察地方官政绩，都察院左都御史戴珊的儿子以贿赂向吴舜疏通，被他拒绝。戴珊非常气，就要求吏部尚书马文升罢免吴舜。后来，戴珊的家人受贿败露，吴舜就联合同事弹劾。因他们的同党御史冯允中出面保庇，吴舜反而获罪下狱。后因大学士刘庭力争，吴舜官复原职。