乾隆年间，清廷为了将对外贸易控制在它认为合理的范围内，防止洋人寻衅滋事，颁布上谕，只开放广州一地作为对外贸易的港口，全中国所有沿海城市的货物汇聚广州一地，几乎全世界主要国家运来的货物也都只能从这里开始流通，通过十三行转发到内陆各省。自此，十三行独揽中国的外贸八十五年。
潘家起于十三行的黄金时代，彼时广州商界迎来暴富的空前时机，搏杀激烈，有实力的商号纷纷脱颖而出。潘家的普惠行在获得一定资本后，在老家福建买下了大片茶园，先从和瑞典、美国的商人做小笔茶叶买卖开始，一步一步，几乎垄断了广州所有茶叶外贸的生意，之后，又帮东印度公司代理糖和丝绸。然而，鸦片战争后，十三行受到重创，大部分商行都破产倒闭，普惠行在风雨飘摇中亦没能幸存。
光绪末年，长房的潘盛棠继承了家族生意，趁砂糖价格暴涨，兼之欧洲各国对食糖的管制相对放松、食糖需求大量增加，通过不断地买入卖出，聚敛了大笔财富，为家族生意迎来新的契机。