元代上海建县后,县学宫始设主学、教谕,主持文庙祭祀,宣扬儒家经典和皇帝训诫,教诲及管束所属生员。明代除教谕衙外,增设训导衙,佐助教谕管理所属生员。清光绪三十一年(1905年)10月,上海县学务公所成立,取代原上海县教谕署。光绪三十三年学务公所改称上海县劝学所,所址在尚文路北一粟庵。全县设24个学区。设监督1人,由知县担任;总董1人,由县视学兼任。下设劝学员若干人。劝学所办理全县教育行政事宜,并综核各学区学务。

    辛亥革命后,上海县裁撤了清政府所设的劝学所,由县公署设学务课(后改第三科、教育科)掌管全县教育,仍设县视学负责督导。民国7年(1918年)撤销县公署教育科,复成立劝学所。民国12年改组劝学所,成立县教育局,由局长、视学、教育委员、事务员组成。县教育局设董事会,负责“审议县教育之方针、计划;筹划县教育经费及保管县教育财产;审核县教育经费预决算;提议关于县教育局工作事项”。

    民国16年8月,上海县据《江苏省县教育局分课暂行条例》拟定《上海县教育局组织大纲》,组成包括总务课、学校教育课、扩充教育课(后改为社会教育科)的县教育局,设局长1人,督学1人,课长3人,科员及事务员7人。局以下分为4个学区,半年后又分为5个学区,各设教育委员1人。县教育局“掌管学校、图书馆、公共体育场、公园等事项及其他文化社会事业”。民国17年市、县分治后,南市教育划归市管。市教育局设于南市大吉路。上海县教育局所辖5个学区减为3个,民国19年改划为2个学区。民国22年上海县教育局由南市尚文路迁至北桥县府驻地。

    民国26年八一三事变发生,日军入侵,上海沦陷。日伪上海市大道政府在浦东东昌路成立,翌年4月,改组为伪督办上海市政公署,设教育局,局址在东昌路市范里28号。10月改为伪上海特别市政府教育局。南市成立伪区公署。民国31年1月,汪伪上海市政府教育委员会成立,统管各区学校,推行奴化教育。

    抗战胜利后,上海市教育局设在林森中路(今淮海中路比乐中学址),各级学校均由市教育局直接管辖。

    1949年5月上海解放,上海市军管会市政教育处和区接管委员会分别接管旧有教育行政机构及所属各级公立学校。市人民政府设教育局,区接管委员会设文教股。1950年6月区人民政府成立,设文教科,负责有关学校整顿、改造,教会学校、私立学校的接办以及职工市民的扫盲等工作。1956年区人民委员会撤文教科,设教育科。当时中学归市局管理;小学、幼儿园和职业补习学校等由区管理。1957年成立区教育局,中学(包括业余中学)下放区管。1960年随邑庙、蓬莱两区合并,成立南市区教育局。

    “文化大革命”期间,1967年区革命委员会设教育卫生组,1976年3月,教卫组分为教育组和卫生组。1977年,撤销教育组,恢复教育局建制。1968年5月～1977年“工人毛泽东思想宣传队”(工宣队)“进驻”区机关期间,区工宣队办公室(与教卫组合署办公)掌管教育,“领导一切”。1969～1970年,一度将全区小学、幼儿园下放到所在街道革命委员会管理。街道设教卫组。

    1978年区教育局恢复建制后曾多次调整充实职能部门。至1992年,设有局办公室、中教科、体卫科、小教科、幼教科、成人教育科、人事科、计财科。另有局外机构:勤工俭学管理科(与教育工业公司合署)、基建站、教学研究室、教育科研室、德育研究室、电化教育站以及分房组。组织科、宣传科、监察室是中共南市区教育工作委员会的工作部门。

    其他区属教育机构有南市区教育督导室、南市区成人教育委员会、南市区高等学校招生委员会、南市区青少年保护委员会、南市区社区教育委员会。由区人民政府领导,各设日常办事机构。