1958年9月29日，中共中央主席毛泽东发出“要大办民兵师”的号召。10月1日，江南造船厂成立民兵师。至1959年初，区境内组建2个民兵师14个团53个营99个连19个排1个班，共188家单位、68685人，其中基干民兵10274人。1960年底，民兵115578人，计7个师53个团419个营831个连2162个排6183个班。经组织整顿，民兵数量减少2万余人，编为3个师42个团129个营727个连2225个排6292个班。后经多次整顿，民兵数量保持在八九万人，基干民兵3万人左右。1962年，组建武装基干连，配发武器。1966年初，有武装基干民兵17个连31个排22个班计3971人。

“文化大革命”中，民兵工作遭到破坏。一度改为“文攻武卫”。1977年进行组织整顿。至1979年底，有民兵单位239家，计2个师16个团53个营150个连18个排，民兵81390人，其中基干民兵9028人，武装基干民兵17182人。

1981年3月后，按照“减少民兵数量、提高民兵质量”的要求，缩小组建范围，压缩年龄，简化层次，严格民兵政治条件，把民兵制度与预备役制度结合起来。区内民兵单位、民兵数量和基干民兵分别减少30.5％、61.6％和35.1％，撤销民兵师和武装基干民兵建制，编成14个团54个营94个连。至1993年，民兵数量都在3万人左右，其中基干民兵5000余人。

1985年起，基干民兵由单位分散编组，改为联络块基础上按专业编组，计编15个基干营，其中12个跨单位组建。1986年，根据警备区下达卢湾区的战时动员任务，对部分单位基干民兵兵种作了调整，实现组、装、训、储一体化，并以基干营为单位每营组建1个动员连。使之更加适合战备需要。1988年，组建150人应急分队。1990年，扩编为2个梯队500人。1992年，配备30辆摩托车，建立无线通信网，提高快速应急反应能力。

1992年，在33家新企业建立民兵组织，民兵单位达到。182家，编成10个基干营。民兵单位由基干营领导。基干营设营部，授营旗，挑选大厂的优秀专职武装干部担任营干部，制订营干部工作职责和活动制度，日常工作由营干部组织实施，给营干部发放岗位津贴，制订基干营经费使用规定，使营干部有职、有权、有责、有经费，形成一级跨单位的民兵组织实体。1993年6月，小单位的民兵组织，由街道武装部实行属地化管理，形成条块结合的民兵组织网络。

除“文化大革命”期间外，民兵整组基本上每年一次。主要是总结工作，调整编组，改选干部，超龄出队，适龄入队等。