早在清末，清政府曾派端方等五大臣出洋考察，考察内容中也包括西方的审计制度，后拟设审计院，并订定审计院官制草案，但未及实行，清政府被推翻。在北洋政府和国民政府时期，参照日本和欧美等国审计建制，逐步建立起我国近代审计体制。民国3年（1914年）5月，北洋政府公布约法，规定：“国家岁入岁出之决算，每年经审计院审定后，由大总统提出报告书于立法院。”这是我国审计权力列入根本大法之始。同年10月，颁布了我国第一部审计法和审计法施行细则，对审计的范围、各种决算的审计报告书包括的项目，审计方式，审计程序以及其他有关事项均作了明确规定，以后对审计法又进行修订增补。民国27年5月，国民政府公布的《审计法》，在“监督预算之执行，核定收支命令；审核计算、决算；稽察财政上不法或不忠于职守之行为”等方面规定得更为具体。审计形式也较为多样，既有事前审计，又有事后审计；既有送达审计，又有就地审计；既有书面审核，又有监视、调查、检查等实地稽察。其中就地审计又包括经常派驻的就地审计、分组办理的巡回审计及不定期的抽查审计3种。在审计中采用“三审制”的基本程序，即分为初审、复审、终审三个阶段。如上海市审计处，由佐理员（兼股长）进行初审；协审、稽察（兼组主任）进行复审；审核会议为终审。在审计方法上重视帐、证、表联系起来进行检查，把审计的重点放在是否符合预算和法令方面。

民国元年9月，北洋政府国务院宣布成立审计处，隶属国务总理，掌管全国会计监察事务，各省设审计分处。当时上海隶属江苏省，有关审计事宜由江苏省审计分处管辖。民国3年6月，中央审计处升格为审计院，隶属大总统，并撤销全国各省审计分处。审计院下设三厅：第一厅负责审查财政部、外交部、教育部主管的全国收支计算事项；第二厅负责审查陆军部、海军部、交通部主管的全国收支计算事项；第三厅负责审查内务部、司法部、农商部主管的全国收支计算事项。审计权集中在中央，对于审计院决议应赔偿的，大总统可以下令特免，审计无独立性。当时上海地区未设审计机构，由财政、财务、会计等监督部门分别办理相关的具体审计监督事项。中央在沪企事业单位的审计事项，由审计院直接派员办理。如财政部所辖的江海关、上海造币厂、全国烟酒事务署驻沪办事处和教育部所辖同济大学、南洋大学等单位的经费，由审计院第一厅负责审查核销。交通部所辖上海电报局、上海邮政局等和陆军部直辖驻沪仓库等单位的经费，由审计院第二厅负责审查核销。司法部所辖江苏上海地方审判厅、检察厅等和内务部所辖上海兵工厂等单位的经费，由审计院第三厅负责审查核销。

民国16年7月7日，上海特别市政府成立，在市府秘书处的第三科设审计、稽核两股。审计股主要职权为：掌管全市预算、决算事项和勘估监算事项。同时特设法令审查委员会，制定各项会计、审计等办法。国民政府于民国21年公布审计处组织法，恢复设置地方审计机构。上海市审计处民国24年4月成立，市府秘书处原设的审计股停止工作。民国26年国民政府审计部按照审计处组织法的规定，在上海设立中国纺织建设公司审计办事处和国营招商局审计办事处。审计部各地方审计处和审计办事处还在有关机关设驻审室，如审计部派驻京沪区铁路局就地审计人员办公室，国库总库审计办事处驻上海国库审计人员办公室，上海市审计处派驻市库审计人员办公室等。对一些未能派员驻审的企业、事业单位，则有重点地开展巡回审计。抗日战争爆发后，上海沦为孤岛，审计处业务停办。民国34年抗日战争胜利后，上海市审计处重新筹建，恢复工作，直至1949年5月上海解放。

建国后至1984年6月前，上海地区未设立政府审计机构。

1952年10月22日，上海市财政局设立监察机构——财政监察科。1953年3月，改设财政监察处。1954年底，该处分设两个科，其中第二科主管现金检查工作。1956年财政监察处内改设财务监察、事业财政监察和秘书3个组，另在全市18个区设区财政监察员20人。1959年1月28日，市财政局和市税务局合并为市财政局后，未设财政监察机构。1979年4月16日，财政部在合肥召开财政监察工作座谈会之后，市财政局又重设财政监察处，全市各区、县财政局亦设财政监察机构。

1983年6月27日，上海市审计局筹备组成立。根据国务院关于改革政府机构的基本精神，上海市财政局于1984年2月9日撤销财政监察处，各区、县财政局也相应撤销财政监察部门。1984年6月15日，本市各级财政局原属的财政监察工作，正式转入各级审计机关（筹），其工作人员根据需要亦相应转至各级审计机关（筹）。1984年6～9月，上海市审计局和各区、县审计局先后成立并开展工作。