潘恩,字子仁,号笠江。祖籍常州,元末为避兵祸迁居上海。少年时以诗文、制艺名传乡里。嘉靖二年(1522年)中进士,曾任浙江左布政使、都察院左都御史、南京工部尚书、刑部尚书等职,在朝40余年。后因其子潘允端任职刑部,为避嫌而告老还乡,终日以读书著作自娱。堂屋中有对联,云:“履富履贵履盛满,如履春冰；保身保家保令名,如保赤子”,反映其洁身自好、宠辱不惊的禀性。卒于万历十年(1582年)。朝廷赐祭,赠太子少保,谥“恭定”。生有3男1女,时称“同怀兄弟四轩冕,一家父子三进士”,盛极一时。

    潘允端,字促履,号充庵。嘉靖四十一年(1562年)中进士二甲第三名,授刑部主事。旋调任南京工部主事,后因主持漕粮储运有功,升任四川右布政使,颇有政绩。万历五年(1577年),称疾辞官回乡,奉养老亲。

    潘氏居第在城隍庙东北。嘉靖三十八年,潘允端营造一大型园林,占地70多亩,名豫园,园内景观“奇秀甲于东南”。