寿安寺最早建于1241至1252年（宋淳祐元年至十二年），取名富安寺，1318年（元延祐五年）改名永福寿安寺。寺随县治多次迁建。今之寿安寺，建于1583年（明万历十一年）。寺内建大雄宝殿九栋十三架，气势宏伟，殿前建四天王殿，殿后建西方三圣殿，东西两侧建厢房。
1928年，寿安寺佛像被国民党县党部所毁，庙宇改为鳌山小学。1946年经县法院裁决，收回大雄宝殿和四天王殿，化缘集资修理庙堂，重塑佛像，再兴烟火。
1958年，鳌山小学迁出寿安寺。同年3月25日，江苏省文化局列寿安寺为三等文物保护单位。1959年初大炼钢铁时，三尊高2米铁锈三世如来佛、大香炉、大钟及3米高的宝鼎，皆入炉焚化，泥塑佛像移于偏室，庙内建鳌山奶牛场。1962年改建为精神病院。1967年，大雄宝殿及四天王殿一部分被附近大队拆除，仅存西方三圣殿、四天王殿部分和两间东厢。
1981年5月，县革命委员会将寿安寺列为县级文物保护单位。1983年春，西方三圣殿修复，并安放迁自苏州的十八尊佛像，寿安寺大门装修一新。
