上海兴市以后，即有人从事废旧物资买卖，为社会调剂余缺，其初多为流动性个体商贩，一边收购一边销售。随着市场经济发展，渐有坐商经营废旧物资，先在南市小东门、老西门一带，上海开埠以后逐步扩展到租界及其周边地区。广东省宝安县人万国安14岁即来上海，开始在虹口百老汇路（今东大名路）附近摆旧货摊。临黄浦江边，有些外国船员上岸出卖照相机、望远镜、船钟、水平仪等，万国安购进后转售给国人，积攒了资金，于清光绪十三年（1887年）在百老汇路A106号租赁店面，开设万金记旧货店，生意兴隆，发展成为沪上有名的光学仪器旧货商店。19世纪末20世纪初，在北京路（河南路至浙江路一段）上开始有经营旧家具、地毯、童车、巡捕号衣、洋瓶、旧报纸、摆件、餐具、铁器等旧货店铺，已有到“北京路淘旧货”之说。由于战乱频繁，江、浙、皖等地流入上海的人口激增，买卖旧衣服的估衣铺（店）特多，以石路、新闸路及南市里马路老太平弄等街区最为集中，鼎盛时多达200多家。上海沦陷期间，许多人逃到租界避难，谋生不易，沪西、闸北、老西门、金家坊、南昌路、襄阳路等处旧货摊贩集中，形成旧货交易市场。虹口吴淞路一带西服店托庇“租界”相继迁至霞飞路（今淮海中路）营业，后因西服乏人问津，一部分店铺增加旧西服买卖，进而扩大经营旧的表、笔、唱片、收音机等，有的转为旧货店。民国32年（1943年）12月，市旧货同业公会成立。据民国34年日本投降前统计，共有会员475户。抗日战争胜利后，日伪敌产、美国剩余物资及走私货大量投入市场，旧货业畸形发展。虹口区虬江路一带因遣返的日侨出售家用杂货，一度形成巨大的旧货市场，摊贩达数千人，交通为之阻塞。同时还出现专门出售“救济物资”、“剩余物资”和走私货的中央商场和中美商场等。

中央商场形成于民国34年底。当初只是流动小商贩聚集在中央弄（今九江路100弄）摆设地摊，出售钢笔、圆珠笔、指甲钳、打火机、军毯、服装、手表等旧日用品。该弄地处闹市又临近外滩，逐渐形成一个“弄堂”市场。抗日战争胜利后，美国剩余物资以及大批走私洋货麇集市场，小商、小贩猛增，地摊扩大到中央路（今沙市一路）和新康路（今沙市二路）一带。民国37年，竺达夫在此开设了新康联合商场，内设柜台99只，每只柜台以五两黄金出顶，连同中央弄一带形成中央商场，成为一个专门倾销美国剩余物资和洋货的市场，有的交易以美元计算。

上海解放后，政府禁止买卖金银，部分银楼转业经营旧杂货。南京东路方九霞银楼转为迪沙多寄售商行，庆福星银楼转为庆福星旧货商店。许多典当店亦转业经营旧货。据同业公会统计，1951年底全市旧货业有1060户，比解放初期增加一倍多。1954年，工商行政部门对旧货业进行整顿，上海市贸易信托公司担负起全市旧货商业的社会主义改造任务。当年9月，淮海中路上开设全国最大的国营淮海旧货商店，第二年又相继开设国营旧货批发部和国营旧家具商店，以加强对旧货市场的领导，逐步把私营旧货业纳入国家资本主义轨道。1956年8月，全市旧货业合营时有坐商528户、1430人，摊贩市场43个、9612户、10111人。经过调整网点，到1957年全市旧货业有坐商286户（其中国营3户，合营283户），合作商店108户，合作小组249户，来组织起来的摊贩4010户。公私合营后，上海市贸易信托公司在黄浦、新成、卢湾、邑庙、虹口、闸北、江宁、徐汇、提篮、长宁等10个区设立区店，在榆林、杨浦、东昌、蓬莱、普陀5个区的基层店配备2～3个专职人员，以对所属旧货店、旧货市场、旧货摊贩进行领导和管理。1958年1月，经上海市第一商业局决定，将上海市贸易信托公司经营的废旧金属（包括废旧机器等五金器材）业务和市场管理工作划给市供销社废品公司统一经营管理。“文化大革命”期间，旧货业受到冲击，网点大量撤并，至1976年仅剩70家，比“文化大革命”以前减少三分之二。

改革开放后，随着国民经济发展和商品升级换代加快，旧货业有所恢复和发展，但网点不足，居民“卖旧货难”的情况较为突出。1983年，闸北区人民政府先后批准开放宜昌路和中华新路两个旧货市场，以后南市、虹口、杨浦、静安、普陀、卢湾等区也相继开设。到1995年底，全市有旧货市场12个（闸北区：中华新路旧货市场，宝通路旧货市场，平江桥旧货市场；南市区：东街旧货市场；虹口区：安国路旧货市场，虬江路旧货市场；杨浦区：怀德路旧货市场；静安区：山海关路旧货市场；普陀区：宜昌路旧货市场，上海市调剂商品市场；卢湾区：东台路旧工艺品市场，卢家湾旧货市场），主要由各区和街道兴办，工商部门参与管理，经营旧服装、旧家电、旧自行车和古玩、工艺品等。至1995年，全市共有国有、集体所有的旧货调剂商店40家，私营旧货商及个体户790家。