根据中共中央批转《中央军委关于民兵工作问题的请示报告》规定,南市区于1960年建立民兵领导小组,统一领导民兵、征兵、转业、复员干部和退伍战士的安置等工作。1962年1月,区民兵领导小组改为区委人民武装委员会。“文化大革命”期间停止活动,1979年恢复。区委人民武装委员会历任主任为甘信孚、张振吾、朱理、王仲达、顾启良、沈善初。

    1954年11～12月,邑庙区和蓬莱区分别建立区兵役局,主管区内新兵征集和兵役登记工作。1956年上半年,两区兵役局分别改为上海市兵役局邑庙区兵役办事处和蓬莱区兵役办事处。邑庙区兵役局局长和兵役办事处主任为徐克,蓬莱区兵役局局长和兵役办事处主任为张忠厚。1959年1月,两区兵役办事处更名为中国人民解放军上海市邑庙区人民武装部和蓬莱区人民武装部,作为区委人民武装委员会的办事机构。1959年12月,随着邑庙和蓬莱两区合并,两区人民武装部也同时合并为南市区人民武装部。“文化大革命”期间,根据中共中央、国务院、中央军委、中央文革小组的决定和上海警备区指示,区人民武装部于1967年参加“支左、支工、支农、军管、军训”(简称“三支两军”),参与区革命委员会和区公检法的领导工作。1968年区建立“文攻武卫”指挥部,后改为“民兵指挥部”,取代区人民武装部的工作职能。1972年7月撤回“三支两军”人员。1976年10月撤销“区民兵指挥部”,尔后恢复区人民武装部。1986年人民武装部改归地方建制,受中共南市区委、区人民政府和上海警备区双重领导,它既是区委的军事部,又是区政府的兵役机构,区委书记兼任部党委书记。区人民武装部历任部长为徐克、杨文山、巴赛、陈心明、董恕义、马金明、黄宝兴,区人民武装部历任政委为王新华(兼)、张忠厚(第二政委)、李明东、王运坤、周波(兼第一政委)、房崇喜、张仁瑞(兼)、邵斌元。