自清代创办团练起，本县始有地方武装。其时办团练都为应付战事，战事一平，团练就撤。在咸丰十年（1860年）太平军攻占青浦城、光绪十年（1884年）法越之战、二十年中日甲午之战、二十四年德军强占胶州湾、二十六年京津义和团起义、三十年春日俄战争期间，本县都曾筹建团练或添募团勇，县城设城总局，下设乡分局28处。辛亥革命后，设有民团，由团董主其事，下设团丁若干。北伐战争以后，县境曾建立保安团，受县长指挥。抗日战争期间，青浦沦陷后，青东等处有共产党领导的抗日地方武装，初名抗日自卫团，后称“后备队”。敌伪占领区有专事搜括民脂民膏、镇压抗日爱国军民的伪保安团。抗战胜利后，县有保安团1个大队，下辖2个中队（或称营），官兵共600多人，分驻青东、青西。同时，民国政府还建立了专以“防共剿共”为中心任务的松、青、金、吴、嘉5县、淀山湖区4县、青昆嘉边区等的所谓联防机构。中共地下党为打击反动势力，扰敌后方，牵制敌人兵力，迎接大军解放，组织了敌后地方武装反征总队、人民服务大队等。

解放后的地方武装，初称县人民武装总队，系渡江前原苏北军区特务二团一营一连和本县青东人民服务大队第二、第三中队合编而成。彭宗义任总队长，县委书记李昌文兼任政委，下辖3个连，一、三连驻城厢，二连驻朱家角。各区均建有区人民武装中队。1950年8月，改名为县人民武装大队，年底再更名为县人民武装独立第一营，属松江军分区领导。主要任务是剿匪肃特，保卫地方党政机关，维护社会治安。1951年4月各区人民武装中队撤销，1952年夏，县独立营也奉命撤销，嗣后建立的县人民武装机构是县人民武装委员会、人民武装部。