到东汉桓帝时，鲜卑各部推檀石槐为军事首领，组成檀石槐军事结合体，檀石槐建庭于弹汗山（今河北尚义县大青山）歠仇水（今东洋河）上，有控弦之士十万，“南钞汉边，北拒丁零，东却夫馀，西击乌孙，东西万二千里，网罗山川水泽盐池基广”。檀石槐死后，鲜卑军事结合体瓦解，形成三股比较强大的势力，一股为步度根，分布在并州的太原和雁门等郡，归附曹魏，二为轲比能，分布在代郡、上谷等地，对曹魏时叛时附，三为东部鲜卑素利、弥加、厥机等，分布在辽西、右北平、渔阳塞外。三股力量中，轲比能最强。轲比能拥有“控弦十万余骑”，控制地区从云中（今内蒙古托克托县东北）、五原（今内蒙古五原县）以东至于辽水，成为塞上的一支强大的势力。轲比能以后，鲜卑人又有了新的组合，并继续向中原地区推进。其中鲜卑慕容氏、宇文氏及鲜卑段氏向辽水流域推进。拓跋氏由西逐渐向中部转移，以后又从内蒙古地区向山西、河北地区推进，拓跋氏的支族秃发氏居河西走廊，与陇西鲜卑乞伏氏向西北部推进，慕容氏的另一支族吐谷浑居于青海草原。十六国时，慕容氏建前燕、西燕、后燕、南燕。鲜卑化的汉人冯氏建北燕，秃发氏建南凉，乞伏氏建西秦，吐谷浑建河南国，拓跋部建代国。
羯族，是随匈奴入塞的少数族，羯人高鼻、深目、多须，崇信火袄教，可能是匈奴控制的西域人，故称“匈奴别部”，入塞后，居于上党武乡（今山西长治北），后分布于太行山一带。
西羌居于青海草原，其种类很多，有研种、烧当、先零、白马等。西汉宣帝和元帝时，西羌进攻甘肃一带，为汉军击败。东汉时马援破先零羌，徙其羌人于天水、陇西、扶风三郡。内徙羌人与西汉政府交往密切，其社会结构和民族特征都发生了重大变化，所以一般将这部分羌人称为东羌。东汉从建武十年（34）到延熹八年（165）一百多年内，羌族大规模的内徙有二十九次。羌族内徙大体有三种情况，一种是西羌豪酋主动请求内属；第二种是西羌豪酋进犯内地，西羌人在战争中被俘或投降，自东汉安帝以来羌人对东汉发动了三次大规模的战争；第三种是汉军出塞进攻羌人，降俘入塞，羌人的内徙一直持续到西晋。到西晋时期，内徙羌人主要分布在今陕西南部、西南部以及甘肃境内，十六国时羌族姚氏聚集族人在关中建立后秦国。
氐族，原分布在西起陇西、东至略阳、南达岷山以北的地区，汉武帝时开益州，置武都郡（郡治武都，今甘肃成县西），这时氐人开始成为汉王朝的编户齐民。元封三年（前108），发生了氐人反叛事件，汉武帝出兵平定了叛乱，并将氐人强徙至酒泉郡。东汉末年，仇池（山名。在今甘肃西和县西南）杨氐和兴国氐王阿贵为氐族最强大的部落，杨氐酋长杨千万，辖地百顷，称百顷氐王，同兴国阿贵各有部落万余。杨千万同阿贵与陇西马超联合对抗曹魏政权。建安十九年（214），曹操令夏侯渊出兵征讨，阿贵被攻灭，杨千万逃入蜀地。曹魏将被征服的氐人徙于扶风一带，以后曹魏又先后两次进攻氐人。后来，曹操又徙氐人五万余落于扶风、天水，魏黄初元年（220），武都氐杨什率部众内附，居汉阳郡。正始元年（240），郭淮徙氐人三千余落于关中。十六国时期，氐族部落酋长苻氐建前秦国。苻坚失败后，又有略阳氐吕光建后凉国。
賨人，也称巴人，主要居于四川嘉陵江上游，巴人常执板楯作战，因此也称板楯七姓。秦汉以来，巴人已分列郡县。东汉末年，益州牧刘璋发汉昌（今四川巴中县）賨民为兵，以抗拒张鲁。曹操破张鲁后，张鲁逃走巴中，依附板楯七姓。以后张鲁投降曹操。賨人夷王朴胡、賨邑侯杜漤等賨民降附曹操，曹操以朴胡为巴中太守、杜濩为巴西太守，任约为巴郡太守。后朴胡为刘备部将黄权所败，曹操又徙賨民于汉中，以后曹操准备撤离汉中，又把汉中的賨民全部迁移到略阳、天水一带。
刘渊起事
刘渊字元海，匈奴人，居新兴（今山西忻州），南匈奴单于于扶罗之孙、左贤王刘豹之子。刘豹为五部之左部帅，刘豹死后，刘渊代为左部帅。晋太康十年（289），晋武帝以刘渊为匈奴北部都尉。刘渊自称是匈奴冒顿之后裔，少年很爱读书，曾以上党名士崔游为师，遍读五经、史书，汉化程度很高。刘渊作了五部帅后，推诚接士，乐善好施，五部俊杰和幽冀名流都纷纷拜访。成都王司马颖镇邺后，又封刘渊为行宁朔将军，监五部军事。
其时，由于中原战乱，并州境内的汉族居民大多流徙江南，胡汉势力发生了重大变化，于是刘渊从祖父刘宣同宗族策划，举兵反晋，“兴邦复业”。刘宣说：“昔我先人与汉约为兄弟，忧泰同之。自汉以来魏晋代兴，我单于虽有虚号，无复尺士之业，自诸王侯，编同编户。今司马氏骨肉相残，四海鼎沸，兴邦复业，之此其时也。左贤王元海姿器绝人，英武超世，天若不恢崇单于，终不虚生此人也”。当时并州刺史司马腾同安北将军王浚正联兵攻击司马颖，司马颖想请刘渊为外援，于是又拜刘渊为北单于，刘渊假称回并州招募五部匈奴，遂返左国城（今山西离石县），刘渊回到离石后，诸部匈奴共推他为大单于。这时王浚联合鲜卑已攻破邺城，司马颖挟惠帝逃奔洛阳。永兴元年（304），刘渊在离石称汉王，置百官，以刘宣为丞相，崔游为御史大夫，刘宏为太尉。司马腾率军前往镇压，部将聂玄与刘渊战于大陵（今山西文水县），聂玄大败，司马腾大为恐惧，遂率并州三万余户到山东，刘渊乘胜进军，接连攻下泫氏（今山西高平县）、屯留（今山西长子县），中都（今山西太原市）。
永兴二年（305），司马腾再次出兵讨伐刘渊，部将司马瑜、周良等驻军于汾阳，刘渊派武牙将军刘钦等阻击司马瑜，四战四胜，刘钦大胜而还。这年离石发生大饥荒，刘渊派太尉刘宏、护军马景等守离石，自率大军驻上党壶关（今山西壶关县）。
次年，司马越为太傅，上表要求封原并州刺史司马腾为东燕王，以刘琨为并州刺史。当时，并州由于饥荒与战乱，百姓难以生存，吏民万余人由李恽等领，随司马腾流亡冀州，留在并州的居民不足二万。刘琨到并州后，只好到上党组织军队，在那里招募五百人，又遭到刘渊部将刘景的攻击，上党无法立足，遂转战至晋阳（今山西太原市南郊区）。刘渊汉国在并州日益强大，中原起事的汲桑、王弥、石勒以及鲜卑逐延等纷纷归降刘渊，在并州迅速形成了各族人民共同反晋的巨大浪潮。
永嘉二年（308），刘渊正式称帝，迁都平阳（今山西临汾市西北），国号汉。刘渊建国后，宗室刘氏以亲疏远近按等级都封郡县王，异姓以谋谟、战功依次分为郡县公侯，以刘宣为丞相，刘聪为大将军，刘宏为太尉，刘和为大司马，刘欢乐为大司徒，呼延翼为大司空，呼延攸为宗正。
永嘉四年（310）正月，刘渊立单征女为皇后，梁王刘和为皇太子，封子刘夐为北海王，长乐王刘洋为大司马。同年七月，刘渊病重，又以陈王刘欢乐为太宰，刘洋为太傅，楚王刘聪为大司马、大单于，不久刘渊病死，由太子刘和即位，刘渊第四子刘聪杀刘和自立，改元光兴。刘聪以刘夐为皇太弟，兼大单于、大司徒，立呼延氏为皇后。
皇太后单氏为刘夐之母，刘聪与她私通，刘夐很是不满，单太后郁愤而死，刘夐与刘聪产生矛盾。永嘉五年（311），刘聪派刘曜、王弥、石勒进攻洛阳，石勒先在苦县（今河南鹿邑县）的宁平城（今河南郸城县东北三十五里），将司马越率领的西晋主力部队十万余人全部消灭。接着刘曜、王弥、石勒、呼延晏合兵攻洛阳，迅速攻占洛阳，俘晋怀帝司马炽，迁至平阳。
建兴二年（314）正月，刘聪建百官制度，除中央机构沿袭前制外，又制定了一套胡、汉分治的地方行政体制，置左、右司隶，各领民户二十余万，万户置一内史，共设内史四十三人，用以统治汉人。又设大单于，大单于之下设单于左、右辅，各领六夷十万落，一万落置一都尉，以其子刘粲为丞相，兼大将军、封晋王，以中山王刘曜为大司马，不久又以刘粲为相国大单于。
建兴四年（316），刘聪又派刘曜攻破长安，俘晋愍帝司马邺，灭西晋。
刘聪靠弑杀太子作了皇帝，并且在灭晋以后，经不起过度富裕的宫廷生活的腐蚀，很快就堕落，过起放纵、酗酒、荒淫的生活了。刘渊刚死，就与太后私通，接着又立太保刘殷二女为左右贵嫔。刘殷本刘聪近亲，刘聪娶刘殷之女，自己也觉得有些不好意思，又怕引起朝廷贵族们的不满，先试探左右大臣，太宰刘延投其所好，替他编了一套谎言说：“臣常听太保刘殷说，他是周刘康公之后，与圣上虽为同姓，但源出不同，联姻无妨”。大鸿胪李弘以魏晋时期的大儒王基曾娶太原王沈之女为例，劝刘聪娶刘殷之女，刘聪遂拜刘殷二女为贵嫔，又封刘殷的四个孙女为贵人，于是六刘之宠倾于后宫。此后，刘聪又封中护军靳准二女为左右贵嫔，大的称月光，小的称月华，又立靳氏二女、樊氏、刘氏为上下、左右四皇后，四后之外佩皇后玺绶者又有七人。刘聪沉缅于皇宫之中，不问政事，常常外出打猎、观鱼，或以烛继昼同宫人们游戏于后宫，朝廷有事，由中常侍王沈等纳奏、贵嫔裁决，有功之臣不被录用，而奸佞小人数日之间便跃居二千石官，战争连年不断，但对出征将士无钱帛之赏，而对后宫侍童的赐赏却动辄数千万，中常侍王沈的车服宅居过于诸王，朝廷上下，纲纪败坏，贿赂成风，一发而不可收拾。
当时河东发生蝗灾，平阳饥荒，流叛死亡者十有五六。部民逃奔石勒的有二十多万户，逃奔东晋刘琨的有三万余户，氐、羌少数民族叛离者有十万余落。汉国所面临的形势已十分严峻，而汉国内部的权力争夺又愈演愈烈，刘粲与刘夐争夺权位继承，双方互不相让。建武元年（317），刘粲、靳准、王沈在刘聪面前并称刘夐造反，于是刘聪召来氐羌酋长十余人严刑逼供取证，这些人在严刑拷打之下，诬招刘夐谋反，刘聪遂杀刘夐官属十余人，活埋士卒一万五千人，废杀刘夐，平阳街巷为之一空。
大兴元年（318），刘聪终于死于荒淫，由刘粲即位。刘粲之荒淫更过于刘聪，名义上尊靳准之女为皇太后，实则以靳氏为妻，靳准靠靳氏之宠作了大司空、司隶校尉，军国之事，全决于靳准。靳准斥异己，引起朝廷上下的不满，朝内重臣大都投奔刘曜，靳准乘机发动叛乱，将刘粲及刘氏男女无少长皆斩于东市，自称大将军，汉天王，称藩于东晋。接着刘渊族子刘曜从长安起兵同进驻汾阳的石勒进为掎角之势，靳攻平阳，平阳守军及巴、羌、羯十余万落投降石勒，石勒将他们迁往自己的管辖地，靳准被部下靳明所杀。石勒之子石虎率幽冀之兵会同石勒进攻平阳，靳明率，平阳士卒一万五千人奔刘曜，石勒遂占有平阳和洛阳以东之地。刘曜封石勒为赵王。大兴二年（319），刘曜被迫迁都于长安，改国号为赵，史称前赵。
东晋的建立
西晋惠帝末年，由于中原地区战乱不已，司马氏王室面临严重危机，无论是司马氏内部还是北方的世家大族都感到需要到相对安定的南方找一块立足之地，以便退守自保。
当时，琅邪（今山东临沂）的大族王衍，担任晋朝太尉，便向执掌朝廷大权的东海王司马越建议：“中原已乱，需要依靠方伯（各州之长）的支持，应派文武兼备的官员前往任职。”这一想法与司马越的思想正好吻合，于是遣王衍的弟弟王澄任荆州刺史、都督，族弟王敦出任青州刺史。不久，司马越又改王敦为扬州刺史，以此使琅邪王氏家族控制了荆、扬二州，为晋王室南迁做了准备。
此前，琅邪王司马睿因在“八王之乱”中“恭俭退让”，得以与司马越保持较好的关系。居京都洛阳时，也与王衍族弟王导“素相亲善”。王导便常劝司马睿回到自己的琅邪国，并为其治理琅邪国出谋划策。由于当时中原战乱，晋朝王室垂危，王导便想借司马睿兴复王室，对司马睿“倾心推奉”。司马睿也同样对王导“雅相器重，契同友执。”晋永兴元年（304），司马越收兵下邳（今江苏邳县南）。封司马睿为平东将军，监徐州诸军事，镇守下邳。司马睿即请王导为安东司马，“军谋密策，知无不为”。晋永嘉元年（307）一月，晋怀帝继惠帝即位，司马越以太傅身份辅政，进一步感到中原难以维持而意迁南方。七月，司马越让司马睿以安东将军身份都督扬州、江南诸军事，渡江移镇建邺，为司马氏退守江南奠定了基础。
由于司马睿才能平庸，在司马氏宗室中名望不高，初到建邺时，江南世家大族对他都较为冷淡，一个多月过去，还没有一位有名望的士族前去拜见。王导很担心，便与从兄王敦商量：“琅邪王仁德虽厚，但名望尚轻，兄长威风已振，应帮助他复兴晋室。”王敦也表示支持。于是，在三月三日当地人们的修禊日，王导请司马睿乘坐华丽的轿子，排出威严的仪仗队列，由王导、王敦和一批北方名士骑马跟从。南方士族顾荣等在门隙中窥看，大为惊讶，赶快相继到路旁拜见。王导接着向司马睿献计说；“古代的帝王，无不宾礼故老，存问风俗，虚己倾心，招揽俊杰。况且当今天下大乱，九州分裂，我们大业初创，急于用人。顾荣、贺循是南方士族的首领，招他们来任职，以收揽人心。其他的士人自然就会前来。”司马睿便让王导亲自登门去招顾、贺。顾循、贺循曾在洛阳晋朝做过官，中原大乱后回江南。顾荣还认为“中国丧乱，胡夷内侮，观太傅司马越今日不能复振华夏”，只有江南如孙权之类的人物才可能独立称雄。这时见司马睿前来招抚，便欣然而至。顾荣出任军司马后，还向司马睿推荐了不少名士，以致出现了吴越国人心所向的局面。
当时，南北士族间的隔阂仍然很深。王导为联络南方士族，常常学说吴语。北方士族骄傲自大，他们讽刺王导没什么特长，只会说说吴语。王导向南方士族陆玩求婚。陆玩推辞说，小山上长不了大树，香草臭草不能放在一起，我不能开乱伦之先。义兴郡今（江苏宣兴）强族周玘因被北士轻侮，准备起兵杀北方士族，败兵后忧愤而死，并嘱咐儿子周勰要报仇雪恨。周勰纠集了一些怨恨北方士族的豪强图谋攻王导、刁协等人。事败后，王导并不追究。为争取南北士族间的平衡，王导采取了十分忍让的态度。
王导除了争取南方世族支持司马睿中兴晋室之外，还鼓励北方南下的大族坚定信心，合力协助司马睿定安南方。北方战乱以来，避乱南渡的北方世族很多。琅邪国随司马睿一起南渡的就有近千户，中原士族南下的也有十分之六七。王导建议司马睿要同时安抚好南、北两方的士族们，以获得他们的支持。司马睿听取了王导的意见，选用了一百多北方名士担任官职，如汝南人周、渤海人刁协、颍川人庾亮等。王导还制定了侨寄法，在南方士族势力较弱的地区设立侨州、侨郡、侨县，安置北方而来的士族与民众。这种侨州郡县大都在丹阳、晋陵、广陵等郡境内，形势上可护卫建康，又可使北方流亡士族仍在寄居地管辖逃来的民众，使流民得以安置。