夏帝禹元年,张掖属《禹贡》雍州之域,西戎氏之故墟。禹封少子于西戎,世代为首领。

周穆王十三年,祭公率师随穆王西征,西戎归顺。

汉代(前206-220年)以前,月氏国称雄于敦煌祁连间,张掖为其属地。

秦汉之际,北方的匈奴族强大起来,击败并赶走了月氏人,河西遂为匈奴右贤王的领地。黑河东、西分别由休屠王、浑邪王分领。

1985年5月,撤销张掖县,设立县级张掖市以原张掖县行政区域为张掖市的行政区域。2002年3月1日,国务院批复撤销张掖地区和县级张掖市,设立地级张掖市。市人民政府驻新设立的甘州区南环路。张掖市设立甘州区,原县级张掖市改甘州区。地级张掖市辖原张掖地区的临泽县、高台县、山丹县、民乐县、肃南裕固族自治县和新设立的甘州区。