清道光三十年（1850年）英国圣公会在境内设英华学塾（后称英华学堂、英华书馆），招收10～13岁男孩入学。清咸丰七年（1857年）法国天主教会于张楼设男女童校各1所（后合并为张楼小学，今竹园小学）。嗣后，外国教会在境内设类思（今四川南路小学）、怀德（今永安路小学）和进德（今区第一中心小学）等小学11所。国人办小学始于咸丰十一年的保安义学（后改为和安小学堂）。至民国26年（1937年），先后开办公、私立小学60余所。抗日战争爆发后，增加至90余所，弄堂小学居多。抗战胜利后，推行国民教育，设国民学校12所，私立小学达100余所，钦仰路小学（今瑞华小学）为中共党员林赐甫按中共地下组织指示创办。1949年初，报童小学在中共地下组织领导下建立“报童近卫军”。解放时，境内有小学116所，其中公立小学12所、教会小学10所、私立小学94所。

解放后，政府接管公立小学12所，整顿教会小学和私立小学。1952年起增开儿童晚班，保证工农子女入学。1953年接办教会小学9所。1956年接办私立小学57所，区别情况进行整顿调整，儿童晚班学生并入日校。由于学生增多，开始实行上下午分班上课的二部制。1957年开始贯彻“两条腿走路”方针，大办民校，境内小学增至80余所。1959年全区中心小学8所。1965年境内有小学110所，在校学生逾13万人。1969年小学下放街道管理。

1978年小学复归区管理，经调整合并为51所，其中区重点小学7所（后调整为4所）。1980年最后1所民办小学改为公办。1981年取消重点小学，设中心小学7所。1984年开展整体改革和“低幼衔接”试点。1988年试行校长负责制，实行目标管理，提出“德育首位、教学中心、五育并举”方针。1991年香港爱国企业家邱德根捐资人民币80万元兴办以其前妻名命名的裘锦秋学校。1992年香港爱国企业家曹光彪捐资美元100万元兴办光彪小学。同年聘任台湾著名实业家、台湾应昌期围棋基金会会长应昌期为围棋小学名誉校长。1987～1992年小学入学高峰期，为确保《义务教育法》的实施，区政府采取疏解（小学六年级提前进入中学，称初中预备班）、挖潜（将非教学用房改为教室）、加层扩建校舍和增加班级学生数等办法，缓解了高峰期“入学难”，全区小学未再出现二部制。1992年小学入学率为100％，毕业生合格率和升学率均为99.9％，体育锻炼达标率88.8％。同年，全区公办小学62所，班级1418个，学生62165人（其中进入初中预备班的毕业生160班、7313人）；教职工3660人，其中教师2758人，中、高级职称分别为1041人和7人。