上海的地质机构，始于李四光民国17年（1928年）1月创建的国立中央研究院地质研究所，其宗旨是研究中国地质问题。

中华人民共和国成立后，市人民政府重视地质工作，上海建立了专业地质机构。1952年12月，华东军政委员会为了适应华东和上海工业建设的需要，将设在上海的华东工业部地质调查所筹备处，与浙江、福建、山东和安徽等省的地质调查研究所合并，成立华东地质局。1958年8月石油工业部为适应国家工业发展的需要，在上海建立华东石油地质勘探局。它们负责华东地区，包括上海市的地质工作，但成立后不久相继撤销。

随着上海城市建设的发展，急需开展矿产资源调查与城市地质勘察。1958年6月，市人民委员会决定成立上海石油普查大队，这是一支为上海城市建设服务的地质队伍。随着地质业务的扩大，1959年改建为上海市人民委员会地质处。1960年，毛泽东主席视察华东时指示，上海建立万人地质队伍，以适应华东和大陆架石油天然气地质普查勘探工作的需要。1960年6月，国务院同意建立上海市地质勘察局，同时撤销上海市人民委员会地质处。市地质勘察局的编制为10000人，当发展到3200人时，因面临国家严重困难等原因，上海市地质勘察局于1962年4月撤销，改建为300人的地质部水文地质工程地质第二大队。

1971年后，上海地质队伍有所扩大，地质机构不断变更。1971年4月后，地质部水文地质工程地质第二大队先后改建为上海市水文地质大队、上海市地质处。1983年12月，国务院批准上海市地质处改建为上海经济区地质中心，为地质矿产部和上海市双重领导的司、局级单位。1986年11月，地质矿产部和上海市人民政府研究决定，上海经济区地质中心同时使用上海地质矿产局名称，是上海市人民政府管理地质工作的职能部门，仍为地质矿产部与上海市人民政府双重领导，以地质矿产部为主的领导体制。1992年2月，上海市人民政府同意将上海地质矿产局正式定名为上海市地质矿产局。