如果我们翻开《中国历史地图集》，将西汉的最大疆域与18世纪中叶清朝的极盛疆域相比，我们可以发现，除了西藏、内外蒙古、东北和台湾以外，汉朝的疆域与清朝的版图不相上下，且还拥有朝鲜半岛、今越南的一部分。
如果我们再看得仔细一点，还可以发现，西汉有一千五百多个县级单位，而两千多年后的今天，中国的县级单位是两千余个。在中原地区，汉县的数量和幅员与今天已大致相同。
中国的疆域就是从汉朝疆域的基础上发展起来的。
公元前210年秦始皇去世时，秦朝的疆域北起河套、阴山山脉和辽河下游流域，南至今越南东北和广东大陆，西起陇山、川西高原和云贵高原，东至于海，是历史上空前的。但不久天下大乱，接着又是连续多年的楚汉之争，所以到公元前202年汉朝初建时，它的版图比秦朝缩小了不少，主要是在边疆地区。
秦始皇在东南越人地区设立闽中郡时，保留了境内的越人君长。这些越人君长在秦末恢复自立，并起兵助汉。高祖六年（前201年），汉朝立闽越首领无诸为闽越王，在今福建境内以闽江下游为中心建立了闽越国，都东冶（今福州市）。汉惠帝三年（前192年），勾践的后人摇被封为东海王，以东瓯（今浙江温州市）为国都，所以又被称为东瓯王。这两个政权表面上服从汉朝，实际上并不受约束。但朝廷面临内外敌对势力，无暇旁顾，只能暂时容忍。吴王濞起兵时曾征召东瓯（东越）和闽越的军队，闽越没有出兵。东瓯虽然参与了叛乱，但在吴王濞兵败出逃后将他杀死，表示继续效忠于汉朝，朝廷没有追究。
兵马俑秦始皇征服南越后，在岭南设置了南海、桂林、象郡三郡，以中原移民为基础，设立了一些县。陈胜起义爆发后，南海郡（治番禺，今广州市）尉任嚣病重，临终前他召来龙川县（治今广东龙川县东）令、真定（今河北正定县西南）人赵佗，命代理自己的职位，拥兵自保。任嚣死后，赵佗下令封锁与中原相通的关隘，清洗了秦朝的官员，安排自己的部属控制了南海郡。秦亡后，赵佗出兵并吞了桂林和象郡，在公元前206年自立为南越武王。刘邦灭项羽后，继续忙于对付异姓诸侯和匈奴的入侵，加上岭南与汉朝并无冲突，所以直到十一年（前196年）才派陆贾出使南越，封赵佗为南越王。赵佗接受了汉朝的封号，不再自称皇帝，但依然保持着独立地位。大约在公元前181年前后，南越灭安阳王，扩展到今越南北部和中部，直到北纬13度，今巴江一带。
吕后执政时，有关部门要求断绝关市，禁止向南越出口铁器，这对南越的经济有很大损害，引起了赵佗的强烈不满，他认为这一定是与南越相邻的长沙王出的主意，以便吞并南越，因而自称南武帝，并发兵进攻长沙国，破坏了几个县。吕后派隆虑侯率军队还击，因天气炎热，环境潮湿，士兵得了传染病，连南岭也过不了。一年多后，吕后去世，军队撤回。赵佗软硬兼施，使闽越、西瓯骆服从他的控制，还设立了像汉朝皇帝一样的仪仗队。
赵佗通过隆虑侯提出了三项要求：寻找他的亲兄弟，撤退在长沙国的汉军，调整南越与长沙国的边界。文帝即位后立即作出反应，为赵佗在真定的祖坟设立守墓户，逢年过节祭祀，召来他的兄弟，封官赏赐，并派陆贾第二次出使南越。在给赵佗的信中，文帝说明已经满足了他的前两项要求，对最后一项，即对南越与长沙国之间犬牙交错的边界进行调整，文帝强调这是高皇帝有意的安排，他不能擅自改变，但这并不是贪图岭南的经济利益，希望他能取消帝号，双方捐弃前嫌，恢复友好关系。赵佗向陆贾表示，接受文帝的诏书，下令取消“黄屋左纛”的仪仗。此后，南越对汉朝称臣，但在国内依然以国君自居。
两千多年后，在长沙马王堆汉墓出土了一幅西汉初长沙国南部的地图，证明当时长沙国与南越间的边界的确是犬牙交错，而不是按照南岭的自然地形划分的。这样的划分使汉朝在南岭南侧占有若干突出的据点，在以后的军事行动中发挥了特殊作用。
汉朝将东瓯、闽越、南越三国称之为“外诸侯”，以区别于异姓、同姓王这些“内诸侯”。外诸侯实际上是藩属国，接受汉朝宗主国、皇帝的地位，向汉朝称臣，但在国内则保持独立。这三国在秦朝时都已建立郡县，是秦朝的正式行政区，西汉初变为“外诸侯”，使西汉的疆域实际缩小了，不能不说是一种倒退。
自从刘邦在平城败归后，西汉对匈奴一直取守势。尽管西汉实行“和亲”政策，匈奴的侵扰并没有停止，它的一些部族住地离首都长安只有700里，轻骑兵一昼夜就能到达。西北和北方的边界都没有能恢复到秦始皇时的位置。
在西南地区，秦朝曾经以成都平原为基地，向西、北两方面扩张到了今大渡河以北和岷江上游，占据了邛（今四川荥经县东一带）、笮（今峨边县东一带）、冉（今松潘县一带）、駹（今茂汶县北一带）等部族的地区。向南又开通了一条“五尺道”，从今天的四川宜宾延伸到云南的曲靖，并在沿线控制了不少据点，设置了一些行政机构。但随着秦朝的解体，设置在云贵高原的行政机构撤退到四川盆地，西汉前期一直没有能恢复。
经过“文景之治”，汉朝的经济得到了恢复，积聚了大批粮食和物资，人口翻了一番。在平息吴楚七国之乱后，内部分裂割据的威胁已经消除，可以集中精力对付外敌了。这些都为汉武帝的开疆拓土准备了条件。
建元三年（前138年），闽越围攻东瓯，东瓯向朝廷求救。武帝立即派严助率会稽郡（今江苏南部、浙江北部、安徽东南部）的军队渡海前往救援，闽越军队闻风解围。武帝以东瓯怕汉军撤退后闽越会卷土重来而要求内迁为由，将大部分东瓯的越人迁至江淮之间，东瓯国不复存在。
建元六年，闽越王郢进攻南越边境。当时的南越王赵胡是赵佗的孙子，他派人上书汉武帝，表示南越和闽越都是汉朝藩臣，他不敢擅自出兵对付闽越，请天子作出处理。武帝对南越的态度很赞赏，命王恢和韩安国出兵讨伐闽越。汉军还没有到达，闽越王之弟馀善就将闽越王杀死，向朝廷报功。武帝下令罢兵，另立无诸的孙子丑为越（粤）繇王。馀善因杀了郢，在国内很有威信，就自立为王。武帝不愿为这一点事再出兵，就以馀善杀郢有功为理由，立他为东越（粤）王，与繇王并存。但馀善对汉朝态度暖昧，并未真正服从。
山水画鉴赏武帝派严助去南越宣布对闽越的处置结果，示意南越王入朝。赵胡派太子婴齐随严助去长安“宿卫”（藩王表示忠诚的方式，名义上派太子至首都担任皇帝的警卫，实际是作人质），表示自己处理完国内事务后就入朝。严助回去后，大臣纷纷劝阻赵胡入朝，认为汉朝出兵闽越实际是向南越示威，入朝就不可能回来，必定导致亡国。于是赵胡就称病，十余年后去世，太子婴齐归国即位。婴齐在长安与汉女结婚生子，回国后立为太子。汉朝几次派使者劝婴齐入朝，婴齐怕入朝后南越会成为内诸侯，也一直称病，只派儿子次公入宿卫。元鼎四年（前113年）婴齐死，太子赵兴即位，汉朝再次派使者到达南越，并命令卫尉路博德屯兵桂阳（今湖南郴州市），策应使者。赵兴与太后商议，上书武帝，要求像内诸侯一样，3年朝见一次，撤销南越与汉朝间边关。得到批准后，赵兴与太后就着手筹备行装。
南越重臣吕嘉是赵佗以来三位国王的丞相。宗族担任官员的有七十多人，与赵氏王室普遍通婚。吕嘉在国内的威望比赵兴还高，他坚决反对归入汉朝，见国王不听他的意见，就称病不见汉使。太后主张杀吕嘉，但与赵兴、汉使意见不一，无法采取行动。吕嘉密谋策划反叛，但一直在等待时机。元鼎五年，韩千秋请求去南越杀吕嘉，武帝派他与南越太后之弟率2000人前往南越。得知他们入境，吕嘉就发动叛乱，杀掉了赵兴、太后和派驻南越的汉使，并袭击杀害了韩千秋一行，派兵驻守边界。武帝下讨伐令，征调越人和江淮以南十万大军。
当年秋，汉军分五路进攻，伏波将军路博德从桂阳（今湖南郴州市）顺湟水（今连江、北江）而下，楼船将军杨仆从豫章（今江西）出发，经横浦关（今江西大余县大庾岭南）入南越；二位归汉的越侯分别被任命为戈船将军和下濑将军，从零陵（今广西全州县西南）进军，一路沿离水（今漓江）而下，一路进入苍梧（今浔江流域）；还派人率领巴蜀士兵，南下征调夜郎（今贵州安顺市一带）军队，顺湟柯江（今北盘江、红水河）而下，最后会师番禺。元鼎六年冬，杨仆一路攻占寻狭（今广东清远市西），突破了南越在石门（今广州市西北）的防线，缴获大批船只和粮食，收编了数万越军。稍后，路博德的军队也到达，两军合围，攻陷番禺城。吕嘉与他所拥立的南越王赵建德逃亡入海，被归降汉军的旧部俘获。南越的苍梧王赵光投降，桂林郡监居翁招降了瓯骆地区，其他三路军队尚未会合，南越全境已经平定。汉朝在南越属地设置了南海、苍梧、郁林、合浦、交趾、九真、日南、儋耳、珠崖九个郡，其中的交趾、九真和日南三郡都在今天越南的中、北部，珠崖和儋耳两郡在今海南岛上。
由于地方官暴政引起当地民族的对抗，汉朝在海南岛的统治一直无法稳定。始元五年（前82年），儋耳郡并入珠崖。但当地民族的反抗依然很激烈，地方政府难以维持，因而在初元三年（前46年）又不得不撤销珠崖郡，行政机构和人员全部内迁。虽然大陆政权在岛上的行政机构长期没有恢复，但民间的往来并没有停止，大陆人民还不断迁往岛上，使人口逐渐增加，开发范围日益扩大。
随着境外林邑国的扩张，东汉疆域的南端从今越南富安省南界退至承天省南界。
东越王馀善还是反复无常，元鼎五年他上书武帝，要求率领8000士兵跟随杨仆讨伐吕嘉，但进至揭阳（今广东揭东县西北一带），又以遭遇风暴为由停留，实际上暗中与南越联络，想左右逢源，持观望态度。汉灭南越后，杨仆要求率部队灭闽越，武帝考虑到长途用兵后军队疲劳，没有批准。部队从南越撤回后，武帝令诸将驻扎在豫章梅岭（今江西广昌县西一带）待命。
元鼎六年秋，馀善得知杨仆曾有请出兵的要求，汉军又留驻边境附近，就任命驺力等为吞汉将军，攻入白沙（今江西波阳县西）、武林（今余干县北）、梅领（岭），杀了汉朝三位校尉。馀善自称“武帝”，不再归属汉朝。武帝派横海将军韩说从句章（今浙江余姚市东南）出海南下，楼船将军杨仆从武林出发，中尉王温舒从梅岭出发，戈船将军和下濑将军二位山水风景画越侯分别从如邪（今地不详）和白沙出发，在元封元年（前110年）进入闽越。闽越凭借山地抵抗，陆路进攻一度不利。由汉朝派回的原越衍侯吴阳奉命劝馀善投降，馀善拒不接受。这时韩说的部队由海路到达，吴阳发动当地居民起兵，配合汉军。闽越建成侯敖与繇王居股合谋，杀了馀善，闽越平定。汉武帝认为闽越地区地形崎岖，土地狭小，闽越人强悍，又曾多次反叛，下令将闽越居民全部北迁，安置在江淮之间，使闽越旧地基本成为无人区，逃避了强迫外迁的越人退居深山。直到西汉后期，遗留下来的越人逐渐出山定居，才重新在今福州设立了冶县，在今椒江市一带设立了回浦县，隶属于会稽郡（治今江苏苏州市）。但由于越人外迁，又没有新的移民迁入，这一带一直地广人稀，东汉末年才有新县的设置。
对西南夷地区的开拓经历了较长的时间。所谓西南夷，是指今四川西部和西南部，甘肃南部，贵州西部，云南和今国境外相邻地区的各个民族。分布在今乌江、金沙江流域的有夜郎、滇、邛都等，主要从事农业生产，有比较集中的居民点，“椎结”（发髻扎成椎形）。在今澜沧江上游一带有巂、昆明等族，以游牧为主，人民都“编发”（头发编结后披下）。在今大渡河流域有徒、筰都、冉駹等，有的定居，有的经常迁移。在今甘肃南部白龙江流域有氐族的白马，岷江上游的冉駹等族。西汉初，汉朝的行政机构虽然已撤退到了四川盆地内的蜀郡和巴郡，但民间与西南夷地区的往来并没有断绝，巴蜀的商人还因与这些民族的贸易而致富。
建元六年（前136年），王恢在制止了闽越对南越的入侵后，派番阳（今东西波阳县东北）令唐蒙去南越通报情况。唐蒙在南越吃到了蜀地产的枸酱，问是从哪里运来的。当地人回答：“从西北的牂柯江，江有几里宽，下游流过番禺城下。”唐蒙回长安后就问来自蜀地的商人，得知枸酱是蜀地的特产，有人偷运出境到夜郎，南越用钱财从夜郎购买。夜郎面临牂柯江，那里的江宽百步左右。唐蒙估计到武帝迟早要对南越用兵，就上书武帝：“如果从长沙、豫章进入南越，水路不通，交通困难。我听说夜郎有十万精兵，从那里坐船沿群柯江而下，可以出其不意，是制服南越的一个奇招。以汉朝的强大，巴蜀的富饶，开通往夜郎的道路，设置行政机构，再容易不过了。”武帝任命唐蒙为郎中将，率1000士兵和运载粮食辎重的万余人，从巴郡出苻关（在今四川合江县），到达夜郎。唐蒙向夜郎侯多同宣传汉朝的强大，又给了他丰厚的赏赐，在当地设置了汉朝的地方政府，任命多同的儿子为令（相当内地的县令）。夜郎周围的小城得到了唐蒙分发的缯帛，又认为从汉朝过来道路艰险，汉朝未必真能来统治，所以都表示愿意接受设置行政机构。唐蒙回来后，大约在元光五年（公元前130年），武帝就下令在这一带设置犍为郡，以焚道（今四川宜宾市西南安边场）为郡治，发动巴、蜀的士兵修一条从僰道通向牂柯江的道路。蜀人司马相如又上书称“西夷”的邛（今四川西昌市一带）、筰（今四川盐源县一带）也可以设置郡县，被武帝任命为郎中将。司马相如向当地的君长做了一番宣传，结果汉朝在那一带新设了十几个县和一个都尉，划归蜀郡管辖，筑路工程非常艰巨，巴、蜀等四郡调集了大量人力物力。修了几年，道路还没有修通，士兵饥疲交迫，加上天气湿热，死亡的人很多。西南夷君长接连反抗，派兵镇压耗费巨大，却没有什么效果。武帝感到很麻烦，派公孙弘去考察，回去后做了汇报，结论是筑路工程“不便”。不久公孙弘当了御史大夫，当时汉朝正忙于筑朔方城，以河套为基地进攻匈奴，公孙弘等建议西南夷工程危害大，可暂时停止，集中力量对付匈奴，得到武帝的批准。西夷的县取消了，南夷保留了二县和一都尉，由犍为郡自行修建县城。