秦漢時期，縣境大部屬豲道，洛門鎮以東屬冀縣。

東漢中平五年(188年)，析襄武、豲道地置新興縣，址設今縣城西15公里 新興川(今廣武坡西頡家門一帶)，屬南安郡。

三國魏更名武城縣，不久即廢，復名新興縣。置中陶縣，故址在今鴛鴦鎮附近。

東晉十六國時期，為前趙、后趙、前涼、前秦、后秦、西秦、大夏等北方七國先后爭占，歷時百余年。

北魏太平真君八年(447年)，中陶并入新興，隸渭州廣寧郡。隋開皇十年(590)，新興并入隴西縣，隸隴西郡。

唐代宗寶應二年(763年)，縣境淪于吐蕃，歷時78年。咸通七年(866年)收復，屬隴右道渭州。

五代時期，縣域為羈縻地(授予歸附的吐蕃族居住)，歷53年。

北宋真宗天禧三年(1019年)，在今縣城北建寧遠寨，屬秦鳳路秦州。熙寧五年(1072年)，以古渭寨地(今隴西)建通遠軍，寧遠寨屬通遠軍。徽宗崇寧三年(1104年)，升寧遠寨為寧遠縣，屬鞏昌路鞏州。

金天會九年(1131年)正月，寧遠陷金。泰和七年(1207年)又降為寧遠寨，屬臨洮路通遠軍。金天興三年、南宋端平六年、蒙古汗國太宗六年(1234)，宋蒙聯軍滅金，寧遠寨歸屬蒙古汗國。

元世祖至元十六年(1279)，復置寧遠縣，隸屬鞏昌路鞏州。

明、清沿襲寧遠縣制，屬鞏昌府，縣域包括現有地域和馬塢、新寺兩鎮。清代末年，馬塢劃歸岷縣。

民國二年(1913年)，因與湖南省寧遠縣重名，北洋軍閥政府內務部決定更名武山縣，屬渭川道。民國十七年(1928年)7月廢道，設渭川行政區，不久即撤銷。民國二十三年(1934年)設天水行政督察區，轄武山等15縣;民國二十四年(1935年)7月，改甘肅第四行政督察區，武山屬之。民國二十九年(1940年)4月，縣西邊境駱家溝、駱家鎮、牟家窯、川口下、川口峴、何家坡、淡家溝、蔡家坪、黃家里、伍家山、瓦窯下、柳樹溝、石板上、銓莊下、單道下、丁家咀上、樺林河17村及插入漳縣的王家坪、爺池下、新咀里3村劃歸漳縣，漳縣插入武山境內的徐家門劃歸武山。民國三十一年(1942年)，漳縣孫家門劃歸武山。民國三十五年(1946年)8月，調整武山、甘谷石廟兒附近的插花飛地。由石廟兒沿洮天公路至張家山堡東西棱線至賈家溝，東屬甘谷縣，西屬武山縣;由石廟兒起，沿洮天公路順李家坪左側山梁至管家溝東下，北折高家山堡直到甄家山一線，東屬甘谷，西屬武山。

中華人民共和國成立后，沿用武山縣名，屬甘肅省天水分區督察專員公署。

1951年4月，屬天水區。

1953年，縣東邊界劃出米家莊歸甘谷縣，劃甘谷縣屬管家溝、臺子上、吳莊、多家灣、張家溝、彭家坡5村歸武山縣。縣西邊界劃出當中嶺、徐家門、李家河、趙家坪、東家屲、景家屲、宋家溝9村歸漳縣。