上海档案行政管理工作是在新中国成立后逐步建立健全起来的。此前，上海历朝历代的政权机关对其官方文书档案保存甚严，仅供资政者查阅，秘不外宣。其他各行各业的档案管理工作处于各自为政的分散状态。

1949年5月上海解放，上海档案行政管理工作即从上海市人民政府接管旧政权时期档案开始。到1959年底，市档案行政管理职能实际由中共上海市委办公厅档案处、上海市人民委员会办公厅档案管理处及政务院秘书厅派出机构——华东区临时档案保管处（1956年1月改名为国家档案局上海管理处，1957年10月经国务院同意划归上海市）分别履行，主要对上海市和华东行政委员会所属各级党政机关档案工作进行指导和管理。当时档案工作重点是整理积存档案，收集革命历史资料，推行文书部门立卷和归档制度，培训档案人员。

1959年12月31日，中共上海市委决定合并市委办公厅和市人委会办公厅的两个档案处，成立上海市档案管理局（与同时成立的上海市档案馆合署办公），既是党的机构，又是政府机构，对全市的档案工作，包括档案馆、档案室以及档案教育、科研、宣传、出版、外事等方面进行统一管理。

1987年8月27日，市长江泽民视察上海市档案局、上海市档案馆，作了《切实加强档案工作，为社会主义现代化建设事业服务》的重要讲话，并题词：“努力开发档案信息资源，为改造振兴上海服务！”江泽民的讲话和题词，从加强立法、严格管理、开发信息、主动服务等方面，为做好新时期上海档案工作指明了方向。同年9月5日，《中华人民共和国档案法》颁布，规定档案工作“统一领导，分级管理”的原则，明确县以上各级人民政府设置档案行政职能部门，主管辖区内档案工作的职责。到1987年底，上海各区、县人民政府均成立了档案局。至此，市和区县两级档案行政管理机构形成。

1995年6月16日，上海市人民代表大会常务委员会会议审议通过《上海市档案条例》，这是全国第一个地方性档案法规，从1995年10月1日起《条例》施行，进一步强化了档案系统依法行政的职责，推进了档案事业的发展。