吴伯雄的祖籍地永定县下洋镇思贤村，吴氏宗祠“崇德堂”，蕴含“尊崇先祖三让至德”之义，其门联为“渤海源流远，延陵世泽长”，堂联为“登堂思让德，入庙凛高风”，均表明思贤村吴氏是渤海郡、延陵郡的一个分支。

“三让天下”故事典出泰伯兄弟：吴氏的远祖是周太王古公父，生三子：长泰伯、次仲雍、三季历。周太王见季历之子姬昌（即后来的周文王）有帝王之相，有意传位于季历，以便日后能传位给姬昌，但碍于“传长不传幼”的传统而苦恼。泰伯体察父意，带着二弟仲雍托词采药，南奔衡山，一去未返。后来，泰伯回国奔丧时，季历要泰伯继承王位，泰伯却坚辞不受，再次偕二弟南奔来到无锡梅里村（今鸿山有泰伯墓、泰伯祠）一带落脚，并随当地土著“断发文身”之俗，以示“姓佘”之人，再无资格当社稷之主。泰伯、仲雍此举，不仅顺从父意，使季历因而登上王位，而且开创了吴氏的谦让家风。到了仲雍的二十世孙又出现了“弟让兄”的故事：仲雍的十九世孙吴王寿梦有五子：长诸樊，次佘祭，三夷昧，四季札，五厥由。吴王有意传位于最贤能的四子季札，但季札效仿先祖泰伯坚辞不受，后来索性避居延陵(今江苏江阴申港一带)，世称延陵季子。

永定吴氏是季札的一支。“三逢为家”典故出自吴纶。据《渤海吴氏族谱》载：入闽始祖吴承顺，进士，原随父吴纶居江西南丰梓田李宁庄。一日，因失火烧毁房屋，财产荡空，悲戚之余，纶公指天为誓：“凡吾嗣子孙，日后必逢塘、逢井、逢源为居。”（胡赛标）