潘氏来源有三支：

第一支潘氏出自姬姓，是周文王的后代。根据《元和姓纂》上的记载，周文王的第十五个儿子毕公高，他的儿子季孙，食采于潘这个地方，他的后代子孙因而以地为氏，称为潘氏。望族出于广宗、河南。季孙的采邑潘地，就在现在的陕西省的北部。

第二支潘氏出自华姓。根据《姓氏寻源》上记载，潘氏是楚国公族华姓的后代，是以字为氏的姓氏，祖宗是潘崇。潘氏家族在楚国较有权势，楚成王时，潘崇任太子商臣的师傅。商臣继位为穆王，就封潘崇为太师。潘崇的子孙就“以父王字为氏”，而称潘氏。这支潘氏的姓源可追溯到上古的颛顼帝高阳氏，发源于今安徽、江苏、浙江一带。

第三支潘氏是由改姓而来。北魏时少数民族中有破多罗氏，改为“潘”氏，其子孙亦称潘氏。

郡望 ：

1、广宗郡：东汉永元五年（公元93年）置县，治所在今河北威县东。隋仁寿元年（公元601年）避太子广讳，改名宗城。十六国后，赵为建兴郡治；北魏为广宗郡治。此支潘氏，出自潘勖之后，其开基始祖为晋代广宗太守潘才。

2、河南郡：汉高帝二年(公元205年)改秦三川郡治郡。此支潘氏，多出自鲜卑破多罗氏之后，其开基始祖为潘威。

堂号 ：

黄门堂：晋代潘岳为河阳令，累官黄门侍郎，诗作是最好，和陆机合称“潘陆”。

潘氏又以“荥阳”为其堂号。

迁徙分布 ：

在今河南荣泽县西南。