张皋镇在明、清两朝是蒙古、归化地区通往皇城北京的大道要冲。那时内地马车是长轴，张皋以北蒙古地带的马车轴比内地的短，车辙的距离也就变窄，所以内地与蒙古路经张皋的过往车辆要在这里换轴歇息。当初有个名叫张皋的河北人在这里开店，款留客商，镇名遂由此来。明朝嘉靖年间，集镇的规模就已初步形成。清朝乾隆四十年（1775年），清政府正式命名张皋为镇，并安了巡检衙门，隶属归绥道丰镇厅。设置巡检，并把土地编成1—100号，每号土地七顷半，抽签招民放垦。.