上海建市以前，没有劳动行政管理机构。民国16年(1927年)7月，上海特别市成立后，劳动行政工作由上海特别市农工商局管理。民国17年8月，上海特别市政府将农工商局改名为上海市社会局。民国26年八一三抗战爆发后，日本帝国主义侵占上海，社会局迁入租界。民国30年12月8日，日军侵入租界，社会局工作全部停顿。汪伪政权时期，上海市劳动行政工作前期由伪社会局管理。民国32年，伪社会局撤销，分别成立伪经济局、社会福利局。民国34年8月抗日战争胜利，国民党政府接收上海市汪伪政权，于同年9月重新成立上海市社会局，直至1949年5月上海解放。

上海解放后，上海市军事管制委员会财政经济接管委员会接管了国民党政府上海市社会局中属于劳动行政管理的机构和国民党政府驻沪有关机构，于6月1日建立劳工处。9月13日撤销劳工处，成立上海市人民政府劳动局，1955年4月改名为上海市劳动局。以后，各区、县也陆续建立区、县劳动科(1958年后先后改为区、县劳动局)，形成全市两级政府劳动行政机构。

解放初期，上海有大批解放前遗留下来的失业职工；同时美帝国主义和国民党对上海实施封锁，特别是1950年2月6日国民党飞机轰炸上海，杨树浦发电厂遭到严重破坏，致大批工商企业停工关闭，失业职工又大量增加。上海市人民政府为了妥善解决严重的失业问题，相继成立了市失业工人救济委员会、市处理失业知识分子委员会、市劳动就业委员会。1952～1954年上述临时机构先后撤销，其工作业务陆续转归市劳动局统一处理。1954年中央决定撤销大区建制,上海市也调整组织机构，原由华东财委和市工业生产委员会管辖的上海地区工资工作，也均划归市劳动局统一管理。

随着社会主义建设事业发展和社会主义改造的基本完成，为了统一掌管、综合平衡和协调部署各部门的劳动工资工作，1956年4月，中共上海市委决定成立劳动工资委员会及其办公室，统一领导、协调部署全市工资改革工作。工资改革工作结束后，继续掌管协调全市劳动工资工作。1961年国民经济遇到暂时困难，根据“调整、巩固、充实、提高”八字方针，中共中央和国务院提出了精简职工、减少城市人口、压缩粮食销量的任务，中共上海市委于1961年6月决定成立人口工作领导小组，1962年改为市委精简小组，下设办公室，负责全市精简职工和城镇人口工作。同时，撤销市劳动工资委员会办公室，其工作业务划归市劳动局处理。1965年经济调整工作结束，中共上海市委于1966年撤销精简小组，重新调整劳动工资委员会组成人员，恢复建立办公室。

1966年6月“文化大革命”开始，12月市劳动局被“造反派”夺权，工作处于瘫痪状态。1967年3月，上海市革命委员会决定成立市革命委员会劳动工资组，在劳动局停止劳动行政职能期间，负责处理全市劳动工资有关事务。1968年5月撤销劳动工资组，成立市劳动局革命委员会，负责全市劳动行政工作。“文化大革命”期间，为了动员组织城市知识青年下乡上山，1968年7月市革命委员会决定成立市知识青年下乡上山办公室，各区、县也先后相应建立了机构。

“文化大革命”结束后，于1978年3月撤销市劳动局革命委员会，恢复市劳动局建制。1980年2月中共上海市委和市人民政府决定重新成立市劳动工资委员会及其办公室。1981年1月，撤销市知识青年上山下乡办公室，其业务并入市劳动局。