清康熙二十四年（1685年）开放海禁后，在上海县城小东门外设立江海关。

清道光二十三年（1843年）上海开埠，英国驻沪领事巴富尔（G．Balfour），擅自将吴淞江至洋泾浜（今延安东路）的黄浦江面划为洋船停泊区。上海道宫慕久为防止洋船走私，在洋泾浜以北外滩建平房三间，设立盘验所，专门对进出口的外国商船进行检查。道光二十五年，英领事巴富尔以外国商业区分布在外滩一带，外国商人到县城海关缴纳税款、办理手续，路远不便为借口，要求把海关关署搬到英租界外滩中心。道光二十六年在北门外东北面一处，英租界内的头坝南的地方（吴淞江南面的外滩面临黄浦江处）建造一座中式房屋三大进的海关，称“江海北关”又称“新关”或“洋关”。新关建立后，盘验所撤销。新关专办外国进口船只征税事宜，原江海关专办国内船只征税事宜。海关主权掌握在中国人手中，西方列强不能随心所欲地进行掠夺、倾销、走私偷漏等。巴富尔在道光二十七年写的《对中国等国商务关系专门委员会报告书》中暴露了他坚持要江海关搬进租界的意图，称：“这是为了能够对海关实施监督，以遏止那些肯定有害于我们一般利益的行为。”

咸丰三年八月，上海小刀会起义，上海道吴健彰被活捉。英、法、美等国趁机攫取上海海关主权。小刀会起义后的第二天，清政府设在外滩的海关被群众捣毁，官员逃散。是日，租界当局马上派兵占据了海关。英领事阿礼国（R．Alcook）商得美国公使马沙利（H．Marshall）同意后，于是年八月初七日（9月9日），分别公布“船舶结关临时规则”六条，宣布在原海关不能行使权力期间，由领事代中国官厅向英、美商人征税。阿礼国还声称，这部分代征代管的税金最后是否给中国，将报英国政府决定。这就是所谓“领事代征制”。《北华捷报》宣称：“这是将上海改为自由港的最好机会，千万不可错过。”

吴健彰被美国领事馆秘密救出后，藏匿在美国领事馆内，很快在上海露面。吴健彰立即发布通告，要求各国领事承认他的上海道台兼海关监督的地位，并补缴以前的欠税。美国公使马沙利（H．Marshall）为打击英国势力，表示支持吴的办法，同意取消“领事代征制”，但遭到英领事阿礼国和法领事爱棠（B．Edam）的反对。

是年十月二十六日，在美国支持下，吴健彰在停泊今黄浦公园旁的“羚羊”号和“羊神”号两艘兵船上设水上海关，通知各国领事仍按旧例实施征税。这一措施立即遭到英、法、葡、普、荷等国领事的反对，不承认这个“水上海关”的存在。英、法两国以“羚羊”号、“羊神”号中国兵船停靠租界江面是小刀会攻击目标，影响租界安全为由，用武力强迫它们离开。所有外国商船进港，也都不予理睬。吴健彰设“水上海关”计划失败。

咸丰四年正月，吴健彰又在吴淞江（苏州河）北岸设立临时海关，开始征收关税。各国领事表示承认这个临时海关。不久，英商又指责临时海关行政腐败，英国船只带头自由进出港而不纳税，其他各国也仿效。吴健彰要求仅征税额之半，也被拒绝。吴又在黄浦江的闵行镇和吴淞江（苏州河）的白鹤渚设立两税卡，输往上海的丝茶先在税卡纳税，又遭英、美、法等国的反对。阿礼国还提出：如果海关行政置于三个条约国家的有效控制下，收税是有希望的。于是内地设卡征税办法也成泡影。

阿礼国为达到中国海关行政置于所谓条约国控制下，攫取中国海关主权的目的，于咸丰四年三月，借故挑起“泥城之战”，进攻清军兵营。吴健彰诚惶诚恐，马上出来赔罪。英、美、法趁机提出海关要有“外籍”税务官参加，并称：这样海关可仍设在租界内，前一时期的欠税也可考虑缴清，在军事上可帮助镇压小刀会。吴健彰急于获得税收，又无他计可使，便于咸丰四年六月，与英领阿礼国、美领麦菲（R．C．Murphy）、法领爱棠，签订《上海海关征税规则》九条。其中包括归还欠税和成立有外籍人员参加的“税务管理委员会”。三国领事提名由英国人威妥玛（T．F．Wade）、美国人卡尔（L．Carr）、法国人史密斯（A．Smith）和海关道吴健彰，组成“关税管理委员会”，海关各项事宜的处理，采用委员投票表决。海关道投一票虽可作两票，但英、美、法等委员处于多数地位，仍可控制。掌管海关实权的主要是英国人威妥玛，后为李泰国（H．N．Lay）、赫德（R．Hart）等。上海海关成为名副其实的“洋关”。从此，外国殖民者包揽了纯属中国主权的海关事务。

 “关税管理委员会”成立之后，在外滩海关修复前，征税场所初设在吴淞江（苏州河）边一临时房屋内，后迁入今江西路、南京东路口一大堆栈中。清政府提出：要英、美等领事，实现诺言，归还欠税，自咸丰三年八月至咸丰四年正月，英商欠税款47.8万余两银子，美商欠税款37.9万余两银子。英国政府于咸丰四年指示阿礼国，所有签出作为关税支付保证的远期支票，应一律无效，退回出票人，阿礼国便宣布注销欠税；接着美国政府也宣布了同样的决定。清政府本想得到的一大笔欠税，结果一文未得，上海海关主权完全被西方列强所控制。这一半殖民地式的海关制度后来扩展到中国各港口。

咸丰七年（1857年）上海道在原关署旧址修建了一座大门外立有两根大旗杆古庙式关署“江海北关”，海关修复后，南京路口堆栈的征税场所迁入。到光绪十七年（1891年）花2年时间，于光绪十九年又建成一西洋式建筑，形式像一座教堂，屋顶上装有一个大钟的关署大楼。至民国16年建成今海关大楼。

上海解放后，海关主权才真正掌握在中国人民手中。

［光绪十九年（1893年）建成的江海关］

［民国16年（1927年）建成的江海关］

［上海海关］