山丹原名刪丹，歷史悠久。 據《山丹縣志》載，刪丹古城在焉支山谷地近鐘山寺處，"以曉日出映，丹碧相間如'刪'字，又名刪丹山，而縣以此得名。"

山丹秦時為月氏地，漢初屬匈奴，后由驃騎將軍霍去病收復，為張掖郡所轄。

夏帝禹元年，山丹屬《禹貢》雍州之域，西戎氏之故墟。禹封少子于西戎，世代為首領。

周穆王十三年 祭公率師隨穆王西征，西戎歸順。

漢代(前206-220年)以前，月氏國稱雄于敦煌祁連間，山丹為其屬地。

西周時期，戎、狄兩族在這里居住。

春秋戰國時，烏孫與月氏共居河西。其后，月氏逐烏孫而獨居。

秦漢之際，北方的匈奴族強大起來，擊敗并趕走了月氏人，河西遂為匈奴右賢王的領地。黑河東、西分別由休屠王、渾邪王分領。’

西漢時期，武帝元狩二年(前121)，驃騎將軍霍去病進軍河西，戰敗匈奴，渾邪、休屠二王率眾歸漢。

漢元鼎六年(前111年)，取"張國臂掖，以通西域"之意，置張掖郡，山丹為張掖郡治。

始建國元年(9年) 王莽廢漢立新，令天下改郡、縣名。張掖郡改名設屏郡、觻得改名官式。山丹為設屏郡治。

建武三年(27年) 光武帝劉秀令各郡、縣恢復舊名。張掖郡及各縣恢復原名稱。

獻帝興平元年(194年)六月，分張掖郡之日勒、山丹置西郡。

兩晉南北朝時期，沮渠蒙遜在山丹建立北涼國，都建康(今高臺縣駱駝城)。

隋初改為山丹衛，大力發展農業生產，山丹成為中國對外貿易的重要場所。

五代時，后梁乾化元年(911年)，甘州回鶻攻沙州，張承奉力屈，訂城下之盟。后唐莊宗同光二年(924年) 六月，甘州回鶻遣使向后唐納貢，乃冊封王仁美為英義可汗。后唐明宗天成三年(928年) 甘州回鶻王仁裕(仁美之弟)遣使納貢，被封為奉化可汗。

北宋時期，天圣六年(1028年)，黨項族首領李元昊擊敗甘州回鶻，建立西夏。

元時期，置甘肅行省，山丹為省會。意大利旅行家馬可波羅前往上都途中，曾在甘州停留一年，在《馬可 波羅游記》中記述了張掖的富庶、城市的規模以及宗教寺廟的宏偉。

明時期，山丹為陜西行都司及甘肅鎮的治所。