吴氏大宗祠建于明万历丙戌岁（公元1586年），广四丈，深一十一丈五尺，三进制：大门、中庭、寝堂。垣楹朴固，庙貌庄严。辛向。供奉始祖绍翁、二世才显、三世文明。每年冬至祭祀，取“冬至一阳生”之义。两旁刻上捐款作蒸尝的人的名字。由十一世孙模、十二世孙瑫、十三世孙从权等督理。

大门扁：吴氏大宗祠

门  联：精忠昭宗室

        支派衍瑶溪

中庭扁：至德堂

对 联：（郡人陈恭尹题）    

        享祀展报本之心百堵翬飞尽揖二樵秀气

        孝弟为敦伦之首一堂雍穆犹存三让家风

寝堂联：（十四世孙应新题）

 源分姬箓肇迹于炎宋司农修后稷公刘世业积德累仁

 派衍吴宗发祥于盛唐太史缵泰伯季子家风明伦讲让

武朝天亲淄阳王以国事路经瑶溪，驻驾祠内，询问吴族人衣冠文物，再三称赞是礼义之乡，并亲笔题书“东粤大家”赏赐。

及至民国十五年甲子岁（公元1926年）六月重修，丙寅岁（公元1928年）二月竣工。正门柱联石雕阴文乃吴道榕撰写：

廿九传派衍司农先泽绵延大启瑶溪新谱牒

数万里居留海外崇祠瞻仰常怀祖国旧衣冠