1921年7月中国共产党成立。同年按照党的纲领和章程的有关规定，建立了上海地方党组织领导机构。在民主革命时期，上海地方党组织领导机构历经13次调整变动。

1921年底，建立中共上海地方委员会（中共上海地委）。1922年7月中国共产党第二次全国代表大会以后，中央委托上海地委代行区执行委员会的职权，上海地委遂改建为中共上海地方兼区执行委员会（中共上海地委兼区委），其组织范围扩大到领导江苏、浙江两省党的工作。1924年4月，中共中央决定将上海地委兼区委改建为上海地方执行委员会，原属上海地委兼区委管辖的中共南京地委和中共杭州小组直接隶属中共中央领导。1925年五卅运动后，党员人数和党的组织有了迅速发展，中共中央于8月21日决定将上海地方执行委员会改建为中共上海区执行委员会（简称上海区委，亦称江浙区委），1927年2月举行中共江浙区第一次代表大会，选举产生中共上海区执行委员会。上海区委领导上海和江苏、浙江两省党的工作。到1925年9月上海地区已建立81个支部，党员共1080人。上海区委在1926年下半年还派出党员到安徽省沿津浦铁路线一带进行建党工作，后来蚌埠、凤阳、宿县、滁县、和县等地党组织亦属上海区委领导。1927年四一二反革命政变后，大批党员被逮捕、被屠杀，一部分党组织陷于瘫痪。中共上海区委从原来的半公开活动被迫转入地下，以秘密方式继续领导革命斗争。

1927年6月，中共中央决定撤销中共上海区委，分别成立中共江苏省委和中共浙江省委。上海是江苏省委所在地，由江苏省委兼上海市委，其管辖范围除江苏省和上海市外，还领导安徽省的蚌埠、凤阳、泗县、宿县、灵壁等地党的组织。江苏省委兼上海市委成立不久，书记陈延年和代理书记赵世炎等相继被捕，先后惨遭杀害。根据中央八七会议精神，省委着重抓了组织建设，调整充实了省委工作机构；把原来上海市区的部委改建为区委，调整充实了各区委的领导干部；在上海市郊各县陆续建立县委，并设立淞浦特委领导各县党的工作。1928年中共第六次全国代表大会前后，上海革命力量逐步恢复，党的工作也有发展。1929年11月举行中共江苏省第二次代表大会，选举产生中共江苏省委员会。1930年6月，江苏省委贯彻中央政治局会议通过的《目前政治任务的决议》（即《新的革命高潮与一省或几省首先胜利》），决定将党、团、工会领导机构合并起来，成立江苏省总行动委员会，总行委设主席团。上海各区和南京市、徐海蚌地区的20多个县、市也都成立了行动委员会，受江苏省总行委统一指挥。在省总行委主席团领导期间，仍保留中共江苏省委名义。从7月到9月，江苏省总行委在上海发动的冒险行动，遭到国民政府的镇压，使得几年来艰苦积聚的革命力量受到重大损失。9月下旬，中共六届三中全会扩大会议进一步批判李立三的“左”倾冒险主义错误后，江苏省总行委及其所属下级行委就此结束。

1930年10月初，江苏省委改建为中共江南省委，管辖江苏、浙江、安徽三省党的组织，省委领导机关设在上海。1931年1月，江南省委改建为中共江苏省委，领导江苏省和上海市区党的工作，原由江南省委管辖的浙江省和安徽省皖北地区党组织直属中共中央领导。但安徽皖南（芜湖）、蚌埠（长淮）地区党组织仍由江苏省委管理。王明主持的江苏省委推行了比李立三错误更“左”的冒险主义路线，致使上海地下党组织频频遭受破坏。1933年上半年，几乎每月都有主要机关被搜查和重要干部被捕。1934年3～11月又接连受到破坏。到1935年1月，江苏省委书记、组织部长和宣传部长被捕后，党的省级领导机构已不存在。江苏省委所属上海各区委和江苏其他地区党组织或遭破坏、或因失掉组织联系而停止活动。但共产党员仍然坚持地下斗争。

1936年春，中共中央先后委派冯雪峰、潘汉年来上海，了解上海各系统地下党的情况，为重建上海地方党组织作准备。年底，建立了中共（上海）临时工作委员会，负责了解和整理上海各系统地下党的组织。经过初步整理，到1937年5月，各系统分别成立了工人临时工作委员会，学生临时工作委员会、救国会工作委员会和文化界、海关职员、巡警三个党支部，加上思想理论界和文艺界党员组成的两个特别委员会。以上各方面的党员共有160人左右。1937年6月，中共中央委派刘晓到上海主持全面工作，重建上海地下党组织。1937年7月，中央指示暂由刘晓、冯雪峰、王尧山组成中共上海三人团，作为上海党的领导机构。

1937年11月上旬，中共江苏省委员会在上海重新成立。江苏省委负责领导上海市和江、浙两省沿沪宁、沪杭铁路线地区地下党的工作和开辟敌后武装斗争。江苏省委根据形势变化，利用上海租界成为“孤岛”和江南敌后日伪统治尚未稳定的时机，积极开辟工作，发展党的力量，到1939年底所属党员已发展到2310人（上海市区1610人，外县700人）。太平洋战争爆发后，上海全部沦陷，环境严重恶化，为保存敌占区地下党的有生力量，中共中央于1942年7月作出“秘密党内必须取消省委、特委组织，只保留县委或支部”的指示，中共江苏省委奉命转移到新四军淮南根据地，下属党组织仍留原地坚持斗争。1943年1月，中央书记处决定撤销江苏省委，在中共中央华中局下设立敌区工作部，继续领导上海及江苏敌区重要城市地下党的工作。1943年4月，华中局敌区工作部（后又称城市工作部）正式成立，上海、南京等地党的地下组织在华中局城工部领导下，贯彻党的白区工作方针，采取“勤学、勤业、交朋友”的工作方式，扎根于群众之中，渡过了最困难的时期，保存和发展了党的力量，到抗日战争胜利前夕，在上海市区坚持斗争的党员有2000余人。1945年9月，随着华中局与山东分局合并，成立中共中央华东局，华中局城工部即告结束。

抗日战争胜利前夕，中共中央和华中局曾决定在上海组织武装起义，配合新四军里应外合解放上海，于1945年8月9日宣布成立中共上海市委员会，不久，根据中央紧急通知，由于情况变化，上海停止武装起义，中共上海市委工作重心转移到深入发动群众，开展复工、救济和清算汉奸等斗争。1946年6月内战全面爆发后，市委领导各系统党组织发动广大群众，开展反饥饿、反内战、反迫害的斗争。1949年初，根据中共中央和上海局的部署，上海市委把工作重心转到准备迎接上海解放和配合接管上海方面来。2月，上海地下党的组织形式作了较大调整，将原来按系统垂直领导改变为基本上分地区领导。市委下辖9个区委和市政、交通、文化、妇女、警察等5个工作委员会及上海人民团体联合会总党组。党的组织在斗争中得到发展壮大，到上海解放前夕全市地下党员达8665人。

1949年5月上海解放，上海地方党组织的领导机构为中共上海市委员会。从上海解放到1995年底，共举行过6次市党代表大会，市委主要领导人历经13次更迭变动。

1949年5月，中共中央华东局直接领导上海的工作，华东局部分领导成员同时担任上海市委领导职务，并一度使用过中共中央华东局暨上海市委员会名称。1950年1月，华东局与上海市委领导机构分开。1952年“三反”运动中，市委领导成员作了较大调整。

1956年7月，举行中共上海市第一届代表大会第一次会议，选举产生中共上海市第一届委员会，并从这届开始设立市委书记处。经第一届市委第一次全体会议选出市委常务委员会和书记处。市委书记处由第一书记和书记共6人组成。中共上海市第二届代表大会提前于1958年底举行，大会选出中共上海市第二届委员会，并经第二届市委第一次全体会议选出常务委员会和书记处。市委书记处由第一书记、书记和候补书记共7人组成。1963年12月，举行中共上海市第三届代表大会，选出中共上海市第三届委员会，并经第三届市委第一次全体会议选出常务委员会和书记处。市委书记处由第一书记、书记和候补书记共8人组成。

1966年5月“文化大革命”开始。1967年1月6日，市委、市人委被造反派夺权。2月5日成立上海人民公社临时委员会，2月23日上海人民公社临时委员会改为上海市革命委员会（市革会）。市革会取代原中共上海市委和市人民委员会，实行“党政一元化领导”。1971年1月，举行中共上海市第四次代表大会，这次大会是在“四人帮”帮派体系控制了领导权，许多党员尚未恢复组织生活，特别是大批党员领导干部处在被打倒、关押、剥夺了党员权利，党内政治生活极不正常的情况下召开的。大会选出中共上海市第四届委员会，并经第四届市委第一次全体会议选出常务委员会和第一、第二书记和书记共7人。

1976年10月，江青反革命集团被粉碎后，中共中央决定对中共上海市第四届委员会和市革命委员会进行改组，重新任命市委和市革会主要领导人。

1983年3月，根据中共中央关于机构改革按照革命化、年轻化、知识化、专业化方针建设领导班子和实行新老合作交替的要求，市委领导班子进行大幅度调整，市委设第一、第二书记和书记，常务委员会由18人调整为12人，平均年龄显著下降。

1985年6月，根据十二大党章规定，市委改设书记、副书记。1986年3月，举行中共上海第五次代表大会，选举产生中共上海市第五届委员会和中共上海市顾问委员会、中共上海市纪律检查委员会。1992年12月，举行中共上海市第六次代表大会，选举产生中共上海市第六届委员会和中共上海市纪律检查委员会。根据中共十四大精神，不再设立中共上海市顾问委员会。

在社会主义时期，市委工作机构的设置，是按照党处于执政的地位和城市集中的特点，随着形势任务变化和工作发展需要，逐步调整健全。上海解放初期，市委工作机构只有6个部门，宣传、统战、纪律检查和机要工作都由华东局有关部门兼管。1950年3月，华东局与市委机构分开。1954年华东大区一级机构撤销，许多工作下放上海市领导。并为适应大规模有计划经济建设的开展和社会主义改造的深入，市委逐步增设工业、交通、市政建设、财贸、教卫、科技、经济计划和政法等部和委员会，以加强对各条战线党的领导，到1966年5月，市委工作部门增加到21个。“文化大革命”中，市委和市革命委员会下设13个组、室，实行党政机构合一。“文化大革命”结束后，市委恢复重建办公厅、组织部、宣传部、统一战线工作部、纪律检查委员会、政法委员会、调查部和党校等部门。为适应新的形势和任务需要，又增设了老干部工作委员会和老干部局、党史资料征集委员会、党史研究室、对台工作小组等部门。1983年，为了改变市政府委、办党组代行党委职权、党政不分的状况，改进和加强党的领导，市委决定成立中共上海市工业、交通、建设、财贸、对外经济贸易、农村、科学技术、教育卫生等8个工作委员会，作为市委派出机构，行使一级党委的职权。以后又增设综合经济工作委员会，机构编制委员会和市级机关工作委员会，到1995年3月市委工作机构共有18个。

社会主义时期市委直辖党组织，有按地区建立的市区各区委和市郊各县（区）委，有按系统建立的产业党委和局党委，通过区、县、局（产业）党委把分布面广、数量众多的基层党组织切实领导起来。1949～1995年中，市委直辖党组织经过多次调整，对基层党组织的领导体制也有两次较大的变动，一次是1956年，根据全市私营工业企业实现全行业公私合营的新情况，市委决定除市政、交通、铁路、航运外，撤销各个产业党委，将工厂企业党的组织划归所在市区的区委领导。一次是1964年，中央号召学习解放军，加强政治工作，市委决定各工业局党组改为党委，并设立政治部作为党委的办事机构，原属区委领导的工厂基层党组织划归各工业局和工业公司党委领导。到1995年底，市委直辖党组织有13个区委、1个浦东新区工委、6个县委，99个局党委（党组）和产业党委，12个市级政权、军事、统战、群众团体党组（党委）。全市基层党组织有66088个，其中：党委2986个，总支部3638个，支部59464个。全市共产党员总数为114.67万人。