榆中，距今約1.5萬年前的舊石器時代就有先民居住，上古時為羌住地，后被匈奴占據。

秦始皇三十三年（前214），蒙恬“西北斥逐匈奴，自榆中并河以東，屬之陰山，以為三十四縣（一為四十四縣），城河上為塞”。治所在今蘭州市城關區東崗鎮，隸屬隴西郡。秦漢之際，復被匈奴攻占。

漢武帝元朔二年（前127）復置榆中縣，隸屬隴西郡。元擰二年（前 121）置勇士縣，轄榆中苑川河東北地區，治所在今定西縣境內。后榆中、勇士二縣改屬天水郡。昭帝始元六年（前81），設金城郡，榆中縣改屬金城郡，勇士縣仍屬天水郡。明帝永平十七年（74），改天水郡為漢陽郡，轄勇士縣，榆中縣仍屬金城郡。靈帝中平元年（184），勇士縣北部被羌胡占據。三國時，榆中縣為曹魏政權金絨郡屬縣。

晉穆帝永和十一年（355），榆中縣被前涼李儼所占。孝武帝太元元年（376），前秦滅前涼，榆中屬前秦。太元十年（385）鮮卑族乞伏國仁在苑川筑勇士城，建立西秦，置苑川等12郡，榆中縣隸屬苑川郡。

北魏太武帝太延五年（439）廢縣，設榆中鎮。孝明帝正光五年(524)廢榆中鎮，恢復榆中縣置，隸屬金城郡。北周廢榆中縣，其地并人子城縣，仍屬金城郡。

隋文帝開皇元年（581）新置蘭州，領金城郡，金城郡領子城1縣。隋文帝開皇三年（583），實行州縣兩級行政建置，蘭州領子城等4縣，治所在子城縣。煬帝大業三年（607），又改蘭州為金城郡，將子城縣改為金城縣。