据史料记载，夏商时，榆林市的部分地方（神木、府谷、佳县等地）在雍翟族境内，周代为雍州白翟的一部分，战国时为秦国上郡地。 公元前221年秦统一六国，始皇分天下为三十六郡，上郡是其中一个，两汉沿置。 
秦上郡三国时期，上郡、西河郡为归降内附的南匈奴占据，未设置郡县。 东晋时期，匈奴王赫连勃勃在统万城（今靖边白城子）建立大夏国。 太和十二年（公元488年）改设夏州。
隋开皇三年（公元583年），仍设夏（治统万城）、长（治长泽，今靖边境内）、绥（治龙泉，今绥德县城）、银（治儒林，今横山县境内）四州； 大业元年（公元605年）将绥州改称上州，三年撤销州制，设立朔方、雕阴二郡。
隋末唐初，本地为地方豪族梁师都占据，自称梁国，僭皇帝位。贞观二年，梁师都被灭，唐复设银、绥、夏三州，均属关内道管辖。 开元十二年（公元724年）在本区东北部增设麟州（治所今神木杨城） 天宝元年（公元742年）撤州设上郡（今绥德）、银州郡（今党岔）、朔方郡（今白城子）、新秦郡（今杨城）。 乾元元年（公元758年）撤郡，复设绥、夏、银、朔四州。 元和十五年（公元820年）宥州治所由内蒙鄂托克旗迁到今定边境内。后唐庄宗李存勖以府谷县升州（今之府谷）。 五代时期州县设有夏州（领朔方、德静、宁朔三县，均在今靖边境内）、银州（领真乡、开光、儒林三县，在今米脂、佳县境内）、麟州（领新秦、连谷、银城，在今神木境内）、府州（今府谷）、绥州（领绥德、龙泉、延福、城平、大斌五县，在今绥德、清涧、吴堡、子洲境内）。 秦惠文君十年（前328），秦使张仪、公子华伐魏，魏割上郡（今陕西北部）于秦。 公元前221年，秦统一六国后，在全国推行郡县制，以郡统县。上郡治肤施县。辖地约今陕西省中北部毗邻内蒙古部分，具体辖县不详，据《秦代政区地理》考证21县：肤施县、阳周县、圜阳县、高奴县、漆垣县、广衍县、洛都县、定阳县、雕阴县、原都县、平都县、徒泾县、平周县、中阳县、西都县、武库县、平陆县、饶县、博陵县、白土县、富昌县。 据王蘧常先生的考证，秦上郡辖县可考者有：阳周县、榆中县、高奴县。 □闲，秦昭襄王七年（前300年）见在任。（见《秦本纪》） □寿（或为向寿），秦昭襄王十二年（前295年）见在任。（见《十二年上郡守寿戈》铭文） □历，秦昭襄王二十五年（前282年）见在任。（见《廿五年上郡守历戈》铭文）
□趞，秦昭襄王二十七年（前280年）见在任。（见《廿七年上郡守趞戈》铭文）
□水，秦庄襄王二年（前248年）见在任。（见《二年上郡守水戈》铭文） □宪，秦始皇三年（前244年）见在任。（见《上郡守宪戈》铭文） 
西汉上郡汉高祖二年（公元前205年）翟王降汉高祖，汉又置上郡，治肤施县（今陕西榆林市榆阳区鱼河堡附近）。 据《汉书》记载，汉平帝元始二年（2年）时，有户103683，人口606658。领县23： 肤施县、独乐县、阳周县、木禾县、平都县、浅水县、京室县、洛都县、白土县、襄洛县、原都县、 漆垣县、奢延县、雕阴县、推邪县、桢林县、雕阴道、高奴县、冝都县。 望松县，北部都尉治。
□襄，汉高祖时。
王□，西汉末任。
东汉上郡东汉初增山郡复为上郡。
汉灵帝中平元年（184年）前后，羌胡大掠上郡，上郡郡治又徒迁到洛阳，属于侨治了。 汉献帝建安二十年（公元215年）废上郡。
据《后汉书》记载，汉顺帝永和五年（140年），有户5169，人口28599。 领县10：肤施县、白土县、漆垣县、奢延县、雕阴县、桢林县、定阳县、高奴县、龟兹县、候官县 邸杜。
勉昂。
扈育。
免乙。
秦两汉上郡辖境约今陕西省榆林市、延安市行政区域及内蒙古自治区乌审旗等地区。 
隋上郡开元十二年（公元724年）在陕西绥德地区东北部增设麟州（治所今神木杨城）。 天宝元年（公元742年）撤州设上郡（今绥德）、银州郡（今党岔）、朔方郡（今白城子）、新秦郡（今杨城）。 乾元元载（公元753年）撤郡，复设绥、夏、银、麟四州。 此后“上郡”成为历史名词。
