那为什么人丁兴旺的吴氏家庙，却没有别的宗祠来得壮观庞大呢？这里又有个传说。据传，建祠后176年，思贤吴氏出了5个将军。将军们认为祠堂太小，就把祠堂改建得高大壮丽。然而，祠堂改建后，吴氏大败，5个将军先后有4人逝去。吴氏族人认为祠堂不吉利，也都不敢上祠进香，宗祠荒芜多年。后来，经全族商讨决定，恢复宗祠原来面貌，此后，宗祠又历经几次修建，却始终不敢变更宗祠的大小。

思贤吴氏字辈

清咸丰六年（1856年）吴伯雄曾祖父思贤吴氏十三世裔孙吴胜昌迁台，定居在台湾桃园县中坜乡（今中坜市），育有吴锡光、吴朝光二子；吴朝光是前清秀才，不仅兴学，还创办“以文吟社”，以文会友，在当时蔚为风气。

吴朝光又生六子，其中鸿森、鸿麒、鸿麟都曾是台湾政坛的风云人物，尤其吴伯雄的父亲吴鸿麟，毕业于台北医专，被授予医学博士学位，在医学方面有很深造诣。从政后，连续三年当选桃园县议员，出任过桃园县议会议长，并在62岁时当选桃园县第四届县长。伯父吴鸿麒当过“国大代表”；舅父林为恭也曾任苗栗县长。1968年，年仅二十九岁的吴伯雄顺利当选台湾第四届“省议员”，开始进入政坛，成为当时台湾最年轻的“省议员”。吴家在台湾也因此成为了备受关注的政治世家。