清光绪二十五年(1899年)，公共租界工部局在工务处始设公园与绿地监督。抗日战争前，市区园林绿化由市政府和租界当局分别管理，其机构设置、管理制度各异。抗日战争胜利后，上海市工务局设园场管理处。解放初沿旧制，1956年设直属于市人民委员会的上海市园林管理处，1978年改制为上海市园林管理局。1982年市人民政府设置上海市绿化委员会，以负责宣传、组织、推动全民义务植树运动和群众性绿化工作。

解放前，市工务局园场管理处直接管理市区公园、行道树、街道绿地及园林专业苗圃。解放初园场管理处管辖范围不变，居住区绿地、单位附属绿地、公路、铁路、河道、海塘绿化等则分属各有关部门管理。50年代中期至60年代中期，园林绿化管理体制曾作过几次调整。从1956年起，市园林处负责园林花木业的行业管理。1958～1962年，市区行道树、街道绿地及大部分公园曾下放给各区。1960～1963年，郊区林业生产曾交由市园林处管理。80年代前期，市园林局仍直接管理全市大多数大、中型公园、市区主要干道的行道树及街道绿地，以及多个园林企事业单位。80年代中到90年代初，先后将行道树、街道绿地及大多数公园下放给各区管理，又把多数市属的园林企事业单位组建为上海园林（集团）公司，实行事权下放，政企分开。在管理体制进行上述重大调整的过程中，市园林局逐步把工作重心转移到宏观管理上面，以切实履行作为全市园林绿化行政主管部门的职责。

从清末到60年代，历代上海地方政府、租界当局及其所属有关部门都曾制订过一些园林绿化管理规章，但内容很不完备。从80年代初开始，市人民代表大会常务委员会和市人民政府先后通过和颁布了一系列园林绿化管理法规和规章。园林管理部门以此为据，依法处理了数以百计的违章事件，使这一类有害于城市环境建设的不良行为得到遏制。但是在改革开放的形势下，有些部门、单位、个人基于狭隘的利益，侵占绿地、毁坏绿化的事情仍屡有发生，而执法的机制与执法力量均有所不足，继续加强园林绿化的法规管理仍然是一个重要的问题。