1921年底，中共上海地方组织一成立，就有了文书和文件管理工作。当时，党的领导机关未设立内部组织机构，上报和下达的文件均由书记亲自起草，工作活动中形成的全部文件，也都由书记亲自保管。1926年6月开始建立秘书处，设秘书长。自此，党的机关文书处理工作和档案工作由书记领导、秘书长分管的管理体制一直延续下来，并逐步建立起一套严密的管理制度和办法。1927年4月12日，蒋介石发动反革命政变后，中共机关屡遭国民党军警和租界巡捕的破坏，中共上海地方组织形成的档案未能直接保存下来。

1927年，中共中央八七会议后，中国共产党全部转入地下斗争。1931年春，中共中央在上海建立秘密档案库，在党内称“中央文库”，由中央秘书处负责管理。1933年后，由中共上海执行局（后为中共上海临时中央局）负责管理。1936年后，由中央特科派人负责保管。中央文库的档案人员更换多人，与敌人隐蔽斗争18个春秋，库藏档案安然无恙，使上海地下党早期上报给中央的文件幸存下来。1937年11月以后，上海地下党向中央请示汇报工作和中央对上海地下党的指示，均以密码电报往来，也使上海地下党在抗日战争时期和解放战争时期的部分历史档案得由中央秘书处保存下来。

在全国解放以前，中共中央曾多次发出通知，向全国各省、市地方党组织收集革命历史文献。上海地下党将收集到的革命历史文献都上报中央。

上海解放后，中共上海市委也先后4次向全市发出收集革命历史档案、书刊和文物的通知，从地下党时期的支部委员、党员和进步群众等方面，收集到大量的革命历史文献，其中有关中央的文件均报送中央档案馆；有关上海的文件统一由上海市档案馆保存。