关于珠玑巷人“南迁原因”和“南迁时间”，各谱说法不一，颇具争议。在珠江三角洲，关于珠玑巷“南迁原因”，普遍以“胡妃之乱”为主。“岗头族谱序”认同此说法，但清进士吴祖昌撰的“释褐族谱序”和吴日升撰的“兴贤五修族谱序”，对此则有不同的见解和较深入的研究和分析。

珠江三角洲许多族谱都写有，97人南迁是因“胡妃”之说，因而引出了一段南迁的传说，有人也把这一传说称为“胡妃之乱”。相传南宋度宗咸淳（1265-1273年）年间，胡妃因为奸臣贾似道陷害，被逐出宫，流落江湖，走到钱塘江畔，恰遇广东珠玑巷商人黄贮万，两人定下终生之约，回到珠玑巷生活，事隔多年，因家仆对黄贮万不满，到官府告发。朝廷诏令血洗珠玑巷，捉拿胡妃问罪，众乡邻为逃胡妃之祸，大批南迁，胡妃为了不牵连四乡居民，投井自尽，后人为纪念她，在井上建了石塔。

胡妃之祸，引发珠玑巷居民大举南迁只是一个民间传说，给历史上的真实事件，平添了一丝人情味而已。“胡妃之乱”原发生在南宋度宗咸淳（1265-1273年）年间，但《珠玑巷丛书》之东莞罗谱等97人南迁时间是绍兴元年（1131年）晚了近130多年；小榄麦谱作咸淳九年（1273年），时间又较接近；而市桥谢谱作开禧元年《1205年》，则介于两者之间。所以，许多学者认为是有可疑的。许多族谱所载，多是附和其说罢了。就南海族谱而言：

“岗头吴氏”与“释褐吴氏”是同宗共祖的，吴祖昌撰《释褐族谱序》指出“岗头乡族谱内篇，首载隐匿皇妃事，甚详…….但呈词文凭与府县批判，皆标开禧年月，即隐匿皇妃时，亦谓开禧皇妃。查开禧宋宁宗年号，绍兴宋高宗年号，前后相去四代，事关六七十年，与总排年事不合，岂隐皇妃绍兴一事，开禧又一事乎？且此事宋史不载，阙疑矣焉可也。”

《释褐吴氏族谱》旧谱，没有提及南迁原因，吴祖昌“特与本族房同出丹七公者各乡谱牒，借观而互证之。”，发现《岗头》与《总排》两谱，南迁原因虽同属“胡妃之乱”，但时间“绍兴元年”与“开禧元年”,则相差60年。

因此，吴祖昌指出：“南野公二诗，足为由珠玑迁居确证，光启公为丹七公立传，原委详明，但当时不知有取《岗头族谱》参考否？纵或各执己见，彼此悉心互订折衷，以求一是？”

其实，《兴贤吴氏族谱》撰写的南迁原因，也是“胡妃之乱”；南迁时间，同样是“开禧元年”。但兴贤进士吴日升，在撰写《兴贤五修族谱序》时，是全文照登吴祖昌上述有关看法的，显然，他与吴祖昌观点是一致的。

由于吴祖昌曾先后担任过：“江西抚州府知府”和“南昌府知府”，对江西历史比较了解，因此，他对“南迁原因”，提出了一个“避乱迁徙”的新说法，一个与众不同的见解。《释褐族谱序》载“吾乡谱载，系为避乱迁徙，似亦未尝无因。考高宗建炎初年，隆祐太后，被金人逼避，居江西虔州，四年，帝遣卢益等到虔奉迎如浙，先是江广群盗起，绍兴三年，葵丑，帝命岳飞讨平之，帝以隆祐太后如虔时，为土贼震惊之故，命岳飞屠虔城，飞请讨首恶而释胁从，帝许焉。则是江广之间，民不聊生，极思避地，常情也，况有因隆祐太后屠城之旨，风鹤之惊，警远近播谣，且乡僻小民，何知国事，或遂以太后事附会，隐匿皇妃也，盖未可知矣。吾乡谱载，当时虔吉贼匪扰及南雄，贼氛甚炽，群思避地而居，于是吾祖自南雄珠玑之区，挈家南下，今之可秩而序者。”

关于“南迁原因”之“避乱迁徙”一说，兴贤进士吴日升，也是十分赞同的。他由“虔吉贼匪扰及南雄，贼氛甚炽，群思避地而居，”一语，联想到南海兴贤的现状，他在撰写《兴贤五修族谱序》写道：“予自弱冠游庠，即遭咸丰甲寅红逆（太平天国）之乱，吾乡逼近贼垒，分道来攻，百战之余，战频于危者屡矣。”

纵观珠江三角洲各地族谱可见：关于“南迁原因”不尽相同，“南迁时间”不一，也不一定是以罗贵为首的97户33姓人家，于同一时间，一起南迁的。南迁原因，既因“胡妃之乱”，也有“避乱迁徙”，错综复杂；大规模的南迁时间，先后发生在“绍兴元年（1131年）”、开禧元年《1205年》、咸淳九年（1273年）之间，都有可能。