《明史》礼六（吉礼六）之群臣家庙记载：
明初未有定制，权仿朱子祠堂之制，奉高曾祖祢四世神主，以四仲之月祭之，加腊月忌日之祭与岁时俗节之荐。其庶人得奉祖父母、父母之祀，已著为令。至时享于寝之礼，略同品官祠堂之制。堂三间，两阶三级，中外为两门。堂设四龛，
龛置一桌。高祖居西，以次而东，藏主椟中。两壁立柜，西藏遗书衣物，东藏祭
器。旁亲无后者，以其班附。庶人无祠堂，以二代神主置居室中间无椟。
成化十一年(1475年)，祭酒周洪谟言：“臣庶祠堂神主，俱自西而东。古无
神道尚右之说，惟我太祖庙制，合先王左昭右穆之义。宜令一品至九品，皆立一庙，以高卑广狭为杀。神主则高祖居左，曾祖居右，祖居次左，考居次右。”帝下礼臣参酌更定。
嘉靖十五年（1536年），礼部尚书夏言言：“‘按三代有五庙、三庙、二庙、一庙之制者，以其有诸侯、卿、大夫上中下之爵也。后世官职既殊，无世封采邑，岂宜过泥于古。
至宋儒程颐乃始约之而归于四世，自公卿以及士庶，莫不皆然。谓五服之制，皆至高祖，则祭亦当如之。
今定官自三品以上立五庙，以下皆四庙。为五庙者，亦如唐制。五间九架，厦旁隔板为五室，中祔五世祖，旁四室，祔高曾祖祢。为四庙者，三间五架，中一室祔高曾，左右二室祔祖祢。若当祀始祖，则如朱熹所云，临祭时，作纸牌，祭讫焚之。其三品以上者，至世数穷尽，则以今之得立庙者为世世奉祀之祖，而不迁焉。四品以下，四世递迁而已。’从之”。
以上《明史》的记载说明：
1.公元1475年规定：一品至九品，皆立一庙，可供奉高祖、曾祖、祖和父。
2.公元1536年规定，三品以上的官员可立五庙，三品以下的官员皆立四庙。由此将官员统一为一庙变更为五庙或四庙。
3.庙由此开始演变成家庙，继而往后又由民间演变成真正意义的家族共享的祠堂。
有了祠堂以后，便开始有了宗族堂号，也才可能有潘氏的“荥阳堂”的堂号的出现。最早的潘氏祠堂堂号在1536年以后，出现在经济发达的江南地区。
今天各地大部分潘氏族谱记载自已源于“荥阳郡”。在世系图中列“潘尼”是直系祖先，这是因为大家在编修的“通天谱”中，都抄袭了公元1008年以来
的姓氏书籍。以至于大家的口径高度一致。
当今谱学界研究认为，由于唐末焚尽了官谱，造成此后编纂的姓氏杂书内容存在许多讹误，不宜采信。
潘氏族谱抄袭这些有讹误姓氏杂书内容，就会延续讹误。加之各地不同修谱匠的随意发挥，又造成了潘氏族谱的千差万別，形成今天族谱中，俯拾即是的同人不同世代、同人不同父子、爷孙倒置、杜撰祖宗的乱象。
阅《宋代登科录》和《明代登科录》，进士的资料中只记载到曾祖父以下的世系关系。《清代科举人物家传资料》从清嘉庆年以后开始出现高祖和七大姑八大姨的记载，仁宗朝以后开始有远久始祖的记载。
通过研究族谱的发展史，可以确定，宋代时，品官有记录一户五代世系的“家乘”。明中晚期（1536年）以后，有记录已知始迁祖以下世系的支系“族谱”。清代清嘉庆年以后开始有无限上溯的“通天谱”。
乾隆朝曾二次干涉民间修谱，并且制定了明确的谱禁规定，只准在族谱中记录上五代祖宗或迁入本地的始迁祖以下的世系。公元1799乾隆死了以后，仁宗嘉庆开始，人们为追求家族的显赫地位，任由“修谱匠”无限上溯，刻意的傍附达官权贵，杜撰“通天谱”。
有些人以为，族谱中有明代世系就是明代谱，有宋代世系就是宋代谱。简单地以族谱中人物所涉及的朝代来判断创修年代。总想把自家的族谱说的更古老一些。其实不然，这种认知上有误区。
这些所谓的 “宋代谱”“明代谱”多数都是清代谱。潘氏族谱中有皇帝的敕旨、有公元前600多年的潘崇公、宋代的曹彬、朱熹、吕子进，明代的潘季驯……等人的序言。经过史料考证分析，明显就是些假手名人所编造的伪谱序。
在族谱普遍存在为祖先们加官进爵的现象。加小官衔也就无所谓，史料无稽考，可以理解。如果官帽太大了就不行了，就成了笑话，比如历史上潘氏就只有潘世恩是文状元，潘文虎是武状元，要是还有那位潘氏是状元就不真实了。
封王或五品以上官员都会有史料可以考证。宋代以来的进士也会有登科录佐证。无史料可以稽考的王侯将相，多是后人凭空加上去的。