仙居是南岑吴氏的祖源地，1163年，始祖吴芾按巡至东阳，爱东阳山水，遂营别墅于南岑（南街恺悌坊，其位置大约在和平旅馆附近，西对镇圣巷——以前称下南巷。见卷三十四明南京刑部侍郎、华溪虞守愚《桂塘公墓志铭》，中有“宋殿中侍御史、龙图阁直学士、赠光禄大夫谥‘康肃’出知婺州时，命仲子洪从东莱吕成公学，因筑别墅于邑之南岑恺悌坊，子孙从而家焉”之语。南岑，其南有小高山——东西岘峰之谓）。1166年，嫡祖吴洪登乾道丙戌科萧国梁榜进士，官至奉议大夫、浙东提举常平司提举。1172年冬，吴洪因直言指责宰相燮理无方获罪当道而辞官归里。1173年，嫡祖吴洪奉父命定居东阳，东阳南岑吴氏自此年始。1183年，始祖吴芾去世，谥“康肃”。这一谥号的含义，“保民安乐”为“康”，“执心决断”为“肃”。1212年，嫡祖吴洪去世。芾公和洪公相继在南岑生活四十余年。
    祖先坟茔在仙居，免不了要回去祭扫。至两公去世，归葬仙居，三世祖楷校二公深感仙居路遥，且隔着崇山峻岭，祭扫不便，于是在东阳城南关之外的东疆覆船山（又名“前山头”，即今新苑路169、171号路段）营建芾洪父子的衣冠冢。
    但这并不意味着与祖源地断了往来。从前十几代的婚媾情况看，与祖源地有联姻。明清时期，双方均有人员或文字来往。见之宗谱的明嘉靖年间名臣吴时来（1527~1590，字惟修，号悟斋，仙居厚仁村人，抗倭名将。风景名胜“神仙居”入口右侧的庙就是纪念吴时来的）诗文就有四篇。篇目为《岘溪子天源公赞》、《赠明山子序》、《寄莘野长兄诸弟侄》、《孝女张内君为父母立祀田记》。现将《寄莘野长兄诸弟侄》抄录并标点如下：
    秋过吴宁，得与南岑一寻宗盟，顾辱诸兄款厚，殊慰，殊堪追忆。
康肃公德泽流于六郡，朱文公诗谓“政有百年思”者，迺子孙在石井后里者微矣，岂物无两大势固然欤？正以未遑修谢，有怀伊郁，参府伻至，具承惠存，兼以不肖生日为贺。不肖四岁失慈，兼之始衰，日惧无闻，乌所言乐也！远意不敢辞，已登拜。谨此附谢，不任瞻依。
还有仙居同宗吴炳思、吴时对的诗文。吴时对曾在宗祠庑下为文作诗，诗云：“曾谒湖山墓，苍苔照夕斑。岂今千里外，赖此一宗繁。俎豆光先德，纶音惬大观。平生怀古意，今日为怡颜。”
    1807年冬，吴国鸿（1743~1818，字友崔，号蓼埜）与南岑族长一道到厚仁祖祠拜祭，腊月初二返程，留有两首诗。其留别诗云：

苍山蹭蹬不辞难，为溯宗源到乐安。
凡蒋邢茅原祖鲁，国丰驷罕出觞韩。
时逾短至年将尽，诗赠长沙句未刊。
寄语厚仁诸族彦，南枝好护北枝寒。