清宣统三年(1911年)11月,根据清政府《法院编制法》在南市蓬莱路上海县署内设上海地方审检厅,同时设立上海地方检察厅。上海地方检察厅隶属江苏高等检察厅。上海地方检察厅下辖8个初级检察厅,第一初级检察厅设于上海地方检察厅内;第二初级检察厅管南市;三、四、五、六、七、八初级检察厅分别管闸北、浦东、闵行、引翔港、三林塘、曹家渡。民国元年(1912年)增设初级检察厅,第二初级检察厅设南市。次年,第二初级检察厅并入第一初级检察厅。民国6年上海地方检察厅迁南市车站路。民国16年11月,上海地方检察厅撤销,在上海地方法院内设检察官办公处,二年后改称地方法院检察处。民国28年汪伪政权设上海地方法院暨检察处,曾迁至蓬莱路245号。抗战胜利后仍为地方法院暨检察处。

    中华人民共和国成立后,建立人民检察机关,开始建立人民检察制度。