1958年,中共中央主席毛泽东发出“大办民兵师”号召,中共中央作出《关于民兵问题的决定》。1959年,全区工厂、企业中组建以师、团、营、连、排、班为建制的民兵组织,共有648个民兵连,10万余民兵。1962年,全区民兵9万余人,编为2个师、49个团、94个营、689个连、2447个排。其中武装基干民兵24个连、190个排、285个班。

    “文化大革命”期间,区民兵建设遭到严重干扰和破坏,民兵组织编制混乱,处于瘫痪状态。在江青反革命集团主犯王洪文等操纵下,南市区出现过区“文攻武卫指挥部”、“民兵指挥部”等组织,其性质、任务均与中共中央《关于民兵问题的决定》相背离。粉碎江青反革命集团后,根据南京军区和上海市委关于整顿民兵组织的指示及上海警备区关于民兵整组工作的意见,重点抓各级民兵干部的选配和武装基干民兵的整顿,并把全区民兵组织调整为172个民兵单位,成立18个民兵团、48个民兵营、102个民兵连。1979～1981年,全区民兵总数由108116人减为44358人,其中普通民兵32060人,基干民兵12298人。为了便于发挥大中型企业民兵工作的骨干带头作用,1982年把全区民兵单位按兵种专业分为19个民兵工作协作块,后又调整为9个协作块。

    1986年根据“减少数量、提高质量、抓好重点、打好基础”的方针,民兵单位由156个减为150个,其中组建基干民兵的有142个单位。基干民兵由10505人减为8632人。民兵年龄由16～45岁改为18～35周岁,基干民兵由原来16～30岁改为18～28周岁。

    为加强党对武装工作的领导,建立健全了区委武委会会议制度及各种检查评比制度等。各基层单位党委(支部)书记、厂长(经理)兼同级民兵组织主管领导,保证了党管武装制度的落实。1990年6月,区委召开党管武装工作交流会,上钢三厂、新建机器厂、上海溶剂厂、区饮食公司等单位介绍了经验体会,上钢三厂、耀华玻璃厂、区饮食公司、区房产局等17个单位被评为党管武装先进单位。上海警备区推广了这一经验,《解放日报》作了报道。