皋蘭縣為絲路重鎮，隴西要沖。

春秋戰國時為羌戎之地，

秦統一中國后歸秦。

西漢時屬金城郡，首置金城縣。

西魏、北魏與北周時屬子城縣，子城縣為金城郡治所在。

隋初，屬蘭州總管府，廢府復郡后，仍屬金城郡金城縣。

唐屬蘭泉縣，即現蘭州市區所在，亦為金城郡治。

唐后期與五代時，為吐蕃轄地。

宋、金、元、明均屬蘭州。

清代乾隆三年(1738年)，因境內有皋蘭山而更名為皋蘭縣，沿用至今。

清代至民國作為甘肅首縣和省會重鎮，幅員遼闊，轄今蘭州、白銀兩市的大部分地區。

民國二年(1913年)并蘭州府、鞏昌府為蘭山道，領15個縣，蘭山道尹駐省會皋蘭縣。

民國十六年(1927年)，廢道改區，皋蘭縣屬蘭山區。

民國十九年(1930年)，皋蘭縣設7個區，429個村，縣域東至甘草鎮60千米交定西界，西至張家寺70千米交永登縣界，南至漩馬灘50千米交洮沙縣界，北至甘露池80千米交紅水縣界。

民國二十五年(1936年)屬甘肅督察公署第一行政督察區。

民國三十年(1941年)7月，中華民國政府劃出皋蘭縣城區及近鄰16平方千米的區域設立蘭州市，皋蘭縣城即為蘭州市區，蘭州市區成為縣中之區，縣治駐現城關區永昌路。故有"先有皋蘭縣，后有蘭州市"之說。

民國三十三年(1944年)12月后，皋蘭縣直屬甘肅省。

民國三十四年(1945年)縣治遷駐鹽場堡，全縣有21個鄉鎮，下轄157個保、1467個甲。

民國三十五年(1946年)縣治遷往市內曹家廳，轄21個鄉鎮，151個保、1572個甲。

1949年8月26日，皋蘭縣與蘭州市同日解放，直屬陜甘寧邊區政府甘肅行政公署。12月歸屬蘭州市。

1951年8月由省直轄。

1956年1月劃歸定西專區。