民国3年(1914年)4月,上海巡警局将县署头门内土地祠(今薛弄底街)改作看守所。同年7月,淞沪警察厅南市分厅(金坛路)设看守所。民国15年10月,淞沪警察厅逮捕关押过博古(秦邦宪)和上海工人起义领导人奚佐尧、陶静安。翌年7月改为上海特别市公安局看守所,监房9间,8间木栅,1间铁栅,其中3间“特别室”,1间“优待室”。督察处特务股另设小拘留室,临时关押“政治犯”。民国16～24年上海特别市公安局办理“共党案”1513件,关押大批共产党人和革命志士。仅据民国20年“关押人犯登记簿”不完全登记,有“共党案”123件,关押276人,其中有林育南、胡也频、殷夫、冯铿、李求实、欧阳立安等。原中共安徽省委书记、政协主席张凯帆,副省长桂蓬(黄育贤),原中共沈阳市委书记吴锡恒也曾被关押在此处。看守所监房的墙壁、木柱上,留有不知名的人士刻下的警句和对联:“劝告新朋友,切勿去自首,如有此行为,丢尽人间丑。就是自首后,也不会长久,既不能做人,也不能做狗”；“四友中只剩二人,悲君又去；九泉下若逢两老,说我就来”。

    民国24年(1935年)5月,上海市公安局迁址蓬莱路旧县署(今南市分局址),新建二层看守所,设监房17间,近500平方米。翌年11月23日上海各界救国联合会领导人沈钧儒、李公朴、邹韬奋、沙千里、章乃器、王造时、史良七人(史称“七君子”),在租界被捕后引渡到上海市公安局看守所关押。民国26年1月,看守所改属上海市警察局。同年11月被侵华日军占据。

    抗战胜利后,看守所归属蓬莱路警察分局。民国36年5月26日至6月1日,上海13所大专学校抗议南京“五二○”惨案的177名被捕大学生羁押在这里。市长吴国桢到监房“探望”,学生们高呼“抗议非法逮捕”等口号,高唱《坐牢算什么》歌曲进行抗争。9月,中统上海办事处借用二楼半面监房设置“自修室”,专配看守,关押“政治犯”,被关的有“富通事件”、“申九事件”、“《文萃》事件”中被捕的工人和教师等。特务们使用老虎凳、“优待室”等手段对他们威逼、利诱,其中就有《文萃》的陈子涛、吴承德、骆何民三烈士。民国37年8月,上海特种刑事法庭在看守所设“特刑庭临时看守所”,任命蓬莱路警察分局一名副局长任所长。8月26日～10月1日,上海军、警、宪、特务机关先后逮捕93名大学生、中学生,关入“临时看守所”,学生们为争取自由在狱中进行绝食斗争。蓬莱路警察分局羁押“政治犯”的膳食报支人数为:民国37年8月76人、9月89人、10月82人、11月44人、12月138人;民国38年1月141人、2月70人、3月89人、4月68人。