橋寺鄉發現的朱家墩遺址和楊家河遺址均屬馬廠、半山、齊家文化，由此可斷，早在五千多年前縣境內就有人類繁衍生息。

春秋戰國時，縣境為羌人住地，受罕羌侯管轄。罕羌侯建邑(今雙城)，為縣境內最早出現的城市。秦朝設隴西郡后，滅罕羌侯，設枹罕縣，縣治在罕羌侯邑(今雙城)。

西漢建國，沿襲秦朝建制，縣治未變，仍屬隴西郡。漢昭帝始元六年(公元前81年)，枹罕縣改屬金城郡。后從枹罕縣分置白石縣，縣治在枹罕縣舊址，枹罕縣址東移至今新集鎮古城村。東漢初年，仍沿西漢制。東漢建武十二年(公元36年)，枹罕縣又歸隴西郡管轄。

三國時，隴西郡屬秦州，枹罕縣屬隴西郡。

西晉初仍循魏制，晉武帝太康二年(281年)，廢枹罕縣，立枹罕護軍。東晉十六國時期，張軌據涼州，建前涼政權，在河湟地區建立晉興郡，轄興晉、枹罕等10縣。東晉康帝建元二年、張駿二十一年(344年)，因州界遼闊，分置河州(今臨夏)，河州之名自此始。河州轄興晉、金城、大夏等10郡。興晉郡轄枹罕縣，郡治縣治均在枹罕縣址(今新集鎮古城村)，現有遺跡可辯。前涼亡，河州相繼為前趙、后趙、前秦、后秦，氐、羌等民族建立的政權所管，枹罕縣仍舊。

隋文帝開皇三年(583年)廢郡存州。隋煬帝楊廣大業三年(607年)改周為郡，枹罕縣屬枹罕郡，廢鳳林縣，其地并入枹罕縣。

唐高祖李淵武德二年(619年)，置河州，領枹罕、大夏2縣。唐太宗李世民貞觀元年(627年)實行道、州、縣三級制，全國分10道，河州屬隴右道。貞觀七年(633年)于舊鳳林縣地置烏州，十一年烏州廢，置安鄉縣。唐玄宗李隆基天寶元年(742年)改河州為安鄉郡，屬隴右道，轄枹罕縣。天寶十四年(755年)發生"安史之亂"，吐蕃攻取隴右。唐代宗李豫廣德元年(763年)河州為吐蕃占領，吐蕃在河州枹罕設軍，屬東道元帥府統轄，軍有銜史、司臺等職。

北宋初，吐蕃王族后裔唃廝啰占據河湟地區，宋真宗趙恒封唃廝唃之孫木征為河州刺史治河州。宋神宗趙頊熙寧六年(1073年)，以斷"西夏占有"為名，王韶進兵"收復"河州。河州先后屬熙河路、熙河蘭會路、熙河蘭湟路、熙河蘭廓路等。南宋高宗趙構紹興元年(1131年)金國奪取河州地區，設州置縣，仍屬熙河路。金熙宗完顏皇統二年(1142年)置臨洮路轄河州。金海陵王完顏亮貞元二年(1154年)廢枹罕縣，是年復置枹罕縣，州治縣治均在縣境。

蒙古元太祖孛兒只斤鐵木真二十二年(1227年)三月，河州地區為蒙古汗國占領。元憲宗孛兒只斤蒙哥四年(1254年)為蒙古鞏昌府所轄。完宗五年(1255年)蒙古汗國設吐番等處宣慰司都元帥府于河州，管理蒙藏事宜。元世祖孛兒只斤忽必烈至元八年(1271年)元朝建立，在陜西行省下置河州路，領定羌、寧河、安鄉3縣(今縣境為安鄉縣屬地)，均隸屬于中央宣政院吐蕃等處宣慰司都元帥府。