1928年3月，县署将县城东门外大校场近百亩土地辟作公共体育场，修建土跑道，置办运动器材。解放后，公共体育场改名为人民体育场。1958年底，由上海市投资8万元在城桥镇北门路义冢地新建人民体育场（即今体育场）。该场占地70亩，建有宫殿式司令台1座，篮球场2个（其中1个装有灯光）和活动室。1964年12月，投资2万元建造田径场和足球场，田径场建有400米煤屑跑道。

随着体育运动的开展，人民体育场1967至1969年，先后共投资1.8万元，增建2个灯光篮球场，其中一个还建有1600个座位的混凝土看台。1983至1884年，在田径场建2座各有900多个座位的水泥看台和1座面积588平方米的训练房。1984年，人民体育场拥有田径训练房1座、大型标准足球场1个、篮球场6个（泥面3个，沥青面2个，水泥面1个），还有单杠、双杠、爬杆、爬绳、肋木等运动器具。