夏商時境內為西戎地。

周代時為秦國的發源地。

公元前279年(秦昭襄王二十八年)，秦設隴西郡，郡治狄道(甘肅臨洮)，張 

張家川家川縣屬隴西郡。

西漢沿襲秦制，實行郡縣二級制。

漢武帝元鼎三年(公元前114年)，置天水郡，轄16縣，其中隴縣(治張家川縣城)在縣境。武帝元封五年(公元前106年)，置監察性質的刺史部13州，隴縣屬涼州刺史部天水郡轄。

東漢光武帝建武十八年(公元42年)，改王莽所置州牧為刺史，涼州刺史部駐隴縣(張家川縣城)。明帝永平十七年(公元74年)，天水郡改稱漢陽郡，轄13縣，撤清水、戎邑道并入隴縣。靈帝中平五年(公元188年)，涼州刺史部由隴縣遷冀縣(甘谷)。

三國魏實行州、郡、縣三級制。三國初，魏復置清水縣，撤隴縣并入清水縣。屬廣魏郡。之后張家川再未置縣，縣大部屬清水縣、秦安縣轄。

金太宗天會八年(公元1130年)，張家川縣分屬秦州之冶坊(治清水縣黃門鄉)、隴城(治秦安縣隴城鄉)二縣。

元世祖至元七年(公元1270年)，撤隴城縣并入秦安縣，撤冶坊并入清水縣。張家川縣分屬秦州之清水、秦安兩縣轄。明清時，張家川大部仍屬秦州之清水縣、秦安縣轄。

民國二年(公元1913年)3月，推行省、縣兩級制，暫存道制。張家川縣大部分屬甘肅省隴南道之清水、秦安兩縣轄。民國24年(公元1935年)，甘肅省設立行政督察區，張家川縣大部屬省第四行政督察區之清水、秦安縣轄。

1949年10月1日中華人民共和國成立后，張家川縣分屬天水分區行政督察區之清水、秦安縣轄。

1951年4月，天水分區行政督察區改稱天水區。

1953年7月6日，析清水、秦安、莊浪、陜西隴縣37鄉合并成立張家川回族自治區(1955年6月改稱縣)，屬天水區。

1958年12月，張家川回族自治縣、清水縣合并，置清水回族自治縣。

1961年12月，張家川回族自治縣、清水縣分設。

1969年10月至2006年，張家川回族自治縣先后屬天水專區、天水地區、天水市管轄。

1953年7月6日，張家川回族自治區成立，以清水縣北部的張家川、木河、宣化、恭門4區的1鎮25鄉，秦安縣龍山區的龍山、北河、連五、高廟、天寧、趙坡鄉，隴城區的五方鄉，莊浪縣金鎖區的清真鄉和新隴區石橋鄉的張棉驛等村以及陜西省隴縣馬鹿區的馬鹿、長寧驛、寶坪鄉為張家川回族自治區的行政區域;時，自治區設6區1鎮37鄉。7月20日又增設17個鄉，全區共轄6區1鎮54鄉。