中华人民共和国建立以前，上海地区没有档案馆。

1956年4月，国务院发布《关于加强国家档案工作的决定》，提出“逐步地在首都和各省区建立中央和地方的国家档案馆”。

1958年11月10日，上海市青浦县档案馆率先成立，至1959年12月，上海11个县均成立档案馆。

1959年12月31日，上海市档案馆成立，与同时成立的上海市档案管理局合署办公。市档案馆是中共上海市委和上海市人民委员会直属的文化事业单位，由市委秘书长领导，集中保管市级机关需要长期和永久保存的档案。

1962年12月29日，中共上海市委组织部向全市各部门转发《上海市档案管理局关于建立与健全市、区、县级档案机构的意见》。1963年2月11日，杨浦区档案馆成立，至1964年7月，全市10个区均成立了档案馆。区、县档案馆既是中共区、县委，区、县人委直属的文化事业机构，又是中共区、县委，区、县人委的秘书工作部门之一，受区、县委领导，业务上受上海市档案管理局指导。区、县档案馆集中保管区、县级机关需要长期和永久保存的档案；指导全区、县档案工作；培训全区、县档案干部；负责区、县委，区、县人委机关档案室的工作。

“文化大革命”期间，市档案馆大多数人员去“五·七”干校参加劳动。1967年11月，成立市档案馆敌伪档案清查小组，接管市档案馆全部档案和档案工作。1971年10月，成立上海市革命委员会档案馆。各区、县档案馆有的与区、县革命委员会组织组合并，有的成为区、县革命委员会办公室下属的档案室，有的成为区、县革命委员会档案馆。1979年9月，恢复上海市档案馆名称。同年12月，市委批转《上海市档案工作会议纪要》，要求各区、县迅速恢复档案馆。至1981年，全市各区县档案馆全部恢复。同时，各区、县级机关普遍建立了档案室，区、县档案馆不再兼任区、县级机关档案室的工作。

1980年12月，国务院批准发布的《科学技术档案工作条例》规定：“大中城市应建立城市基本建设档案馆”。1982年12月，全国档案工作会议确定把大力发展和建设各级各类档案馆作为发展档案事业的重点之一。1984～1995年，上海地区的一些专业系统、专业主管部门和部分企事业单位相继建立28家专门、部门档案馆和企事业单位档案馆。这些档案馆属科学技术事业单位或科学文化事业单位，行政上受本专业主管部门和本单位领导，业务上受上级档案管理机构和市档案局指导。

1985年，全国档案工作的领导体制进行改革。地方各级档案馆由原来的各级党委秘书长直接领导（不设秘书长的区、县委由办公室主任直接领导）改为归口各级档案局管理。同年8月起，各区、县陆续建立档案局。区、县档案局建立后，档案馆不再兼任对全区、县档案工作的业务指导和对全区、县档案干部的教育培训工作。

截至1995年，上海地区有各级各类档案馆49家，馆库的建筑面积92229平方米，馆藏档案4622514卷。

1965年，市档案馆和各区、县档案馆根据国家档案局的要求，将馆藏档案区分永久、长期和定期3种保管期限。

1969年12月，各档案馆的重要档案转移至在安徽省建立的上海档案后库保存。1976～1987年将档案陆续搬回上海。

1983年4月开始，市档案馆向社会公开发行《一九二七年的上海商业联合会》等档案史料汇编。各区、县档案馆也根据馆藏档案编写各种参考资料，或提供有关部门，或予以公布。《中华人民共和国档案法》颁布后，市、区、县综合性档案馆陆续向社会开放自形成之日起年满30年的档案。

1985年起，各区、县档案馆根据市档案局的要求，加强档案馆的业务建设。经过2～3年的时间，增加了馆藏档案的门类；对馆藏档案进行科学的分类和系统的排列、编号；建立正常的档案保护、鉴定、统计、编研工作；根据档案的内容和利用档案的需求，编制各种专题目录；建立健全库房管理、档案利用等制度；一些档案馆改建或新建了档案库房。

1987年10月，市档案馆与同济大学合作，开发成功《主题词智能标引和检索集成化系统》，采用计算机标引档案主题词。此后，交通大学档案馆、上海石油化工总厂档案馆、杨浦区档案馆、上海市科技成果档案馆等也先后独立或与计算机公司合作开发应用计算机辅助档案管理系统。至1995年，各档案馆拥有电子计算机共155台。

1988年3月，市档案局印发《区县档案馆升级试行办法》。至1991年12月，各区、县档案馆均被市档案局批准为市三级先进区、县档案馆。至1995年，有19家区、县档案馆升为市二级先进档案馆。同年12月，长宁区档案馆升为市一级先进档案馆。通过上等级，档案馆在人员组成、馆库建设和现代化设备的使用、档案的管理和开发利用等方面都上了一个新的台阶。