夏商周時期，清水為邽戎、綿諸戎居住地。西周孝王時，嬴姓部落首領非子因養(yǎng)馬有功，封為王室附庸(周制，其封地方圓不足50里)，封邑在今清水縣秦亭鎮(zhèn)境內，是清水境內最早的城邑。之后，非子等以此為根據地，不斷開拓疆土，發(fā)展壯大。

周莊王九年(公元前688年)，秦武公伐邽戎取其地，始置邽縣，為中國歷史上最早設置的縣。現在中國的史學界對縣制起源問題有爭論，周振鶴教授認為這是對史料的誤讀。

秦惠公五年(公元前395年)，秦滅綿諸戎，置綿諸道(治今縣西南賈川鄉(xiāng)林河村)，并筑城以加強管理。

秦統一六國后，實行郡縣制，清水縣地屬隴西郡上邽縣(原邽縣)、綿諸道。西漢初，隨著經濟人口的發(fā)展，為鞏固邊防、擴充疆土，漢武帝元鼎二年(公元前115年)析上邽，在關隴要沖置清水縣、戎邑道(治今黃門鄉(xiāng))與隴縣，至此，始有清水縣名，縣治在古城(今永清鎮(zhèn)李崖村)。《太平御覽》引述"《三秦記》云:'其坂九回，七日得越，上有清泉，四注而下。'下有縣，因此而名。"元鼎三年(公元前114年)，分隴西郡置天水郡，轄16縣(道)，其中清水縣、綿諸道均屬涼州刺史部天水郡。西漢末年，王莽改清水為識睦。王莽始建國二年(公元10年)，公孫述于縣治以西15里依山筑清水西城(址今紅堡鎮(zhèn)西城村)。東漢明帝永平十七年(公元74年)，改清水縣為?坻聚，與綿諸道、戎邑道一起并入隴縣。

三國初，魏復置清水縣，廢隴縣入清水縣。魏文帝黃初二年(221年)，從天水郡分置廣魏郡，轄4縣，清水縣屬之。西晉時，清水屬秦州略陽郡管轄。東晉十六國時，前趙、后趙、前秦、后秦、西秦、大夏、仇池等少數民族政權，先后把勢力伸入清水境內。這些割據勢力你爭我奪，相互兼并，征戰(zhàn)不已，給清水的社會生產造成很大破壞。晉安帝義熙六年(410年)，夏王赫連勃勃攻陷清水城，將清水及略陽16000余戶居民遷于大城(即夏都統萬城，在今陜西省靖邊縣北)。北魏統一北方后，清水縣仍屬秦州略陽郡所轄。北魏太武帝太平真君八年(447年)，在原戎邑道故地置安戎縣，屬略陽郡。北魏文成帝和平五年(464年)，分略陽郡清水、伯陽(治今北道區(qū)伯陽鄉(xiāng))2縣置清水郡駐清水，屬秦州。西魏、北周繼之。北周，廢安戎縣。

隋文帝開皇三年(583年)，廢清水郡，改伯陽縣為秦嶺縣，與清水縣均屬天水郡。唐高祖武德四年(621年)，在清水置邽州，轄清水、秦嶺兩縣，歷3年廢入秦州。"安史之亂"后，吐蕃乘虛而入。唐肅宗寶應元年(762年)，吐蕃突破唐臨洮防線，取秦、成、渭等州，清水亦被占據，古城廢棄。唐德宗建中四年(783年)正月，隴右節(jié)度使張鎰與吐蕃大相尚結贊盟于清水，暫息兵戈。不久，吐蕃背盟，復據清水。唐宣宗大中二年(848年)，鳳翔節(jié)度使崔珙破吐蕃收復清水，隸風翔府。因老城久廢，移縣治于牛頭河南人口稠密處(即今城址)。大中三年(849年)，復屬秦州天水郡中都督府。五代時清水雖自前蜀經后唐至周，名為隴右道秦州府所轄，實自后唐明宗長興三年(932年)復為吐蕃占據，縣治遷至上邽城(今天水市秦城區(qū))。

北宋太祖建隆二年(961年)，秦州入宋，清水縣屬陜西路。宋仁宗慶歷元年(1041年)改稱秦鳳路為秦州。此時，清水境內吐蕃已為漢族同化，但秦州羌(即吐蕃"生戶")仍頻繁寇掠清水。為此，北宋王朝在清水相繼置直屬秦州的?穰、冶坊、靜戎等寨堡以及太平監(jiān)，屯兵防守。宋太宗太平興國初年，縣治從上邽城遷回。宋真宗大中祥符九年(1016年)，秦州都部署曹瑋出奇兵破吐蕃李遵立部于三都谷，基本結束了吐蕃對秦州及清水一帶的擾掠。此后，曹瑋督軍民在境內大修堡寨，并筑清水城(即今城址)，以拱衛(wèi)秦州。這些城堡在后來抵御西夏的人侵中發(fā)揮了重要的作用。宋神宗熙寧二年(1069年)，清水縣隸秦風路鳳翔府秦州，領弓門、冶坊、?穰、寧遠等29堡。宋徽宗崇寧年間(1102年一1110年)，清水縣、太平監(jiān)和弓門、靜戎兩寨以及?穰、冶坊2堡均屬秦州。南宋高宗建炎三年(1129年)，金將兀術越隴山西進，破清水城，繼而攻陷秦州。此后，宋將吳玠曾一度收復秦州，但金仍據清水。建炎四年(1130年)。金升冶坊堡為縣(治今黃門鄉(xiāng)王店村)，與清水縣均屬鳳翔路西寧州。金宣宗貞三年(1215年)，清水、冶坊兩縣以及?穰、靜戎2鎮(zhèn)均隸屬鳳翔府秦州。金哀宗正大四年(1127年)，元太祖鐵木真(成吉思汗)率部越六盤山到達清水縣西江畔(今牛頭河)，病逝于薩里川(今紅堡川)行宮內。