衡山社区是在城关原南岳居委会的基础上于2002年8月8日组建而成，位于衡山镇西南角，东至中兴南路，西至潜台路，北至迎驾大道西路，南至传贤路，总面积2.4km2，常住人口5716人、流动人口1040人，低保户160户、322人，下岗失业人员667人，企业离退休人员707人。下辖10个居民小区，辖区内有县直机关、企事业单位44家，是衡山镇社区中面积较大、人口第二的社区。社区居委会现有工作人员17名,书记兼主任1人，副书记兼任流动人口计生专干1人，副主任1人，计生专干1人，民政助理员1人，社区民警1人，小区管理员10人。社区内既有生活水平较好的县直机关企事业单位干部职工，又有破产企业下岗职工和处于最低生活保障线以下的城镇居民，居民生活水平不一。
　　社区居委会的主要职责是：维护社区稳定，发展社区服务，推进社区自治，繁荣社区文化，开展法律法规宣传以及计划生育，优抚济困，文明创建等一系列公共事务。