解放前，境内无专职司法行政机构。司法行政事务，辛亥革命前受江苏提法司署管辖；其后，则由行政长官掌管，或归法院院长兼管。但作为近代司法制度产物的律师业，开全国之先河，早在19世纪70年代初，在租界会审公廨审理的华洋诉讼中，即有外籍律师受聘出庭。至本世纪三四十年代，由于发达的金融业、商业对法律服务的需求，律师业曾有异乎寻常的发展。民国35年（1946年）在境内浦西地区开业的律师事务所多达615家。公证业务于民国25年8月试办，后虽经当局多方倡导，迄上海解放，仍无多大进展。民国35年、36年黄浦、老闸、洋泾三个区公所先后建立区调解委员会，从事民间纠纷调解工作，但实际调处的案件甚少。

解放初期，地方的司法行政工作，仍由各级人民法院兼管。在黄浦、老闸区人民政府领导下，以法制宣传为先导，围绕贯彻《中华人民共和国婚姻法》和“镇压反革命”等各项社会运动，作了广泛深入的舆论准备。普遍建立起来的人民调解委员会，在民间纠纷调解工作中，日益显示出重要作用。1954年，黄浦、老闸区人民法院都设立了公证处，开办公证工作。老闸区人民法院还设立公设律师室，在刑事诉讼中试行辩护制度。1955年6月，上海市司法局成立，但区一级司法行政工作，仍由各区人民法院兼管。在市司法局的领导和推动下，律师、公证等各项业务初具规模。1959年6月市司法局撤销后，律师、公证工作实际上被取消，其他各项业务也受到了削弱。“文化大革命”期间，在“砸烂公检法”浪潮冲击下，司法行政业务遭到破坏。

中共十一届三中全会的召开，为社会主义法制建设开创了新的历史时期。1981年8月，黄浦区历史上第一个区级司法行政机关——黄浦区人民政府司法科成立。1984年8月改为局建制。法制宣传、人民调解工作得到加强，并先后建立了区属律师、公证机构。进入90年代后，在改革开放方针推动下，加快了发展步伐。1992年底已有律师事务所4家，公证处1家。累计办理刑事、民事案件和非诉讼法律事务10852件，办理各类公证43739件。受聘担任企事业单位常年法律顾问610家。为社会各界提供了良好而有效的法律服务。在各街道办事处（镇政府）配备了专职司法助理员，加强对人民调解工作的领导。全区居民委员会一级的人民调解委员会，从1960年106个发展到1992年209个。工厂企业中建立人民调解委员会188个。1990～1992年，由人民调解组织调处的各类纠纷达12240起，有效地维护了地区的安定团结。区司法局还在组织、指导、推动全区的法制宣传上，做了大量工作。