秦统一六国，建立起统一的、多民族的封建中央集权国家，全面推广春秋战国时期己出现的郡县制，分全国为36郡（后增为40郡）。当时，省境行政区划郡、县两级制，共设陇西、北地2 郡。陇西郡郡治狄道（故治在今临洮县东北），辖区约当今甘肃东南部之地；北地郡治义渠（故治在今宁县西北），辖区约当今甘肃东北部和宁夏回族自治区东南部之地。今甘南东南隅之一部属于汉中郡（治南郑，今陕西省汉中）。县以下基层行政组织为乡、里。

    西汉时期的行政区划同代一样，仍为郡县两级制。公元前205 年，汉高祖始占有陇西、北地两郡。随着汉王朝疆域的不断扩大，郡县数随之猛增。汉武帝凭借汉朝强大的经济、军事实力，从公元前133 年到公元前119 年，集中兵力反击匈奴的经常骚扰，并取得军事上的胜利，在了基础上遂先后于元狩二年（公元前121 年）置武威、酒泉二郡。过了10年，于元鼎六年（公元前111 年），分武威郡置张掖郡，析酒泉郡置敦煌郡。同时迁徙内地贫民到河西4 郡，在沿黄河自朔方以西至令居（今永登县西），广泛实行军事屯田，军农结合，巩固边防。河西4 郡的设置，对切断匈奴与西羌的交通，辟我国通行西域的走廊，对于开发河西，促进这一地区经济和文化的发展，具有十分重要的意义。其后于汉武帝元鼎三年（公元前114 年）又增置天水、安定郡；元鼎六年（前111 年）设武都郡；汉昭帝始元六年（公元前81年），从天水、陇西、张掖3 郡各分出两个县建立金城郡。这样，就使省境郡的数目由秦代的两个郡增为10个郡，共辖115 县、10道（县一级，在少数民族地区设置）。1 0 个道是：嘉陵道（故治在今成县西北）、循成道（故治在今陕西略阳县西北）、下辨道（故治在今成县西）、略畔道（故治在今合水县西南）、义渠道（故治在今宁县西北）、阴平道（故治在今文县）、平乐道（故治在今康县西北平洛镇）、戎邑道（故治在今秦安县东）、绵诸道（故治在今天水市北道区东）、略阳道（故治在今秦安县东北）。除行政区以外，西汉王朝为加强中央集权，还在地方设置监察区。汉武帝元封五年（公元前1 0 6 年）分天下为1 3 个刺史部（州），即1 3 个监察区，每部派一刺史（汉成帝时更名为州牧），每年8 月巡行所属郡国，按照西汉中央政府规定的六条，省察地方政务，黜陟能否，检举官吏的不法行为，纠察强宗豪右，断理冤狱。当时甘肃属凉州刺史部。

    东汉时，行政区划大体上是州、郡、县三级制。汉灵帝中平五年（公元188 年），为了加强地方官的实力，镇压农民起义，改革地方行政制度，扩大刺史权力，并将刺史更名为州牧，确定州为郡上面的一级地方政权。这就使实行了400 年之久的郡县两级制扩大为州、郡、县三级制。当时甘肃属凉州，治陇（故治即今张家川回族自治县），辖区约当今甘肃大部和宁夏回族自治区的南部。凉州共辖10个郡、2 个属国、99县。10个郡与西汉时的建置相同，即：武都、陇西，金城，汉阳（原为天水郡，东汉明帝永平十七年即公元74年更名）、武威、张掖、酒泉、敦煌、安定、北地等郡，只是辖县有所调整，比西汉时减少了26个。但郡的设置却增加了两个，即张掖属国（今张掖市的东北，长官为属国都尉）、张掖居延属国（在居延海西，故址即今内蒙古自治区额济纳旗，长官为都尉）。属国在政区上相当于郡，为少数民族管理区。另外，省境南部边缘的一小部分地区分属益州。