清代，上海县衙设县丞、巡检，掌理社会治安。

清咸丰四年（1854年），上海英租界率先设巡捕房。咸丰六年，法租界开始设巡捕房。清同治元年四月初一（1862年4月29日），法租界成立筹防公局（翌年改称公董局），设总巡办公室，管辖下属各巡捕房。同治二年八月二十八日（1863年9月21日），英、美租界合并，在租界市政机关──工部局设警务处，由督察员管辖下属各巡捕房。

清同治元年，清政府推行保甲制度，在上海除租界外地区（俗称华界），建立巡防保甲局，但尚属军警未分，也无专门警察制度。清光绪二十三年（1897年），上海南市马路工程善后局设巡捕房。光绪二十六年，绅商上海闸北工程总局亦设置警察。光绪三十一年，建立上海警察总巡局，翌年改称上海巡警总局。至清宣统三年（1911年），上海巡警总人数1020人。

清宣统三年辛亥革命后，沪军都督府改上海巡警总局为民政总局，下设南市警务公所和闸北警务公所。民国2年（1913年），改南市警务公所为上海商埠警察局，改闸北警务公所为闸北巡警局。同年，又合组成江苏省淞沪警察厅。民国16年，成立上海特别市公安局。民国19年，改称上海市公安局。民国26年，改称上海市警察局。

民国26年11月，日军侵占上海。12月5日成立伪上海市大道政府警察局。民国27年4月，改组为督办上海市政公署警察局。同年10月，改组为上海特别市政府警察局。民国28年2月，警察局改称警察署。民国30年1月，警察署又改称警察局。民国32年，汪伪政府接收租界后，在原公共租界设第一警察局，在原法租界设第三警察局，伪市政府警察局改称第二警察局。同年11月，伪第一、第三警察局合并，称第一警察局。民国33年8月，伪第一、第二警察局合并，改称上海特别市警察局。民国34年抗日战争胜利后，民国政府重新组建上海市警察局。

1949年5月上海解放后，6月2日成立上海市人民政府公安局。1955年5月，易名为上海市公安局。“文化大革命”中，1968年1月，上海市公安局实行军管，成立上海市公检法军事管制委员会。1973年1月，恢复上海市公安局建制。