咸宁四年（278）六月，羊祜病重，要求入朝面陈灭吴大计。司马炎允许他乘车上殿，不行参拜之礼，对于他的意见也表示愿意听取。后来羊祜在病榻上要前来探病的中书令张华转告司马炎说：吴主孙皓暴虐异常，现在出兵可以一举成功。如果孙皓死掉，吴国另立有为新主，我们再有雄师百万，也难渡长江天险了。羊祜的话，确实对司马炎震动很大。他要求羊祜卧护诸将，带病出征。羊祜表示，灭吴战争不一定非他指挥不可，他可以推荐一个能够胜任这一职务的人选。当年十一月，羊祜病故。临终前他举杜预代替自己。杜预以镇南大将军、都督荆州诸军事的职务到达襄阳后，以离间计诱使孙皓撤换了对晋军有威胁力的西陵总督张政。孙皓在临战之前的将帅移易，造成以后西线吴军的迅速崩溃。经过一段时间部署之后，咸宁五年（279）八月，杜预向司马炎上表请求伐吴。司马炎答应明年准备出兵，但杜预反对说，东吴西部的兵力已调空，这是大举进攻的最好时机，如果给孙皓以喘息时机，很可能要功亏一篑。这时，益州刺史王濬也上书请战。他在益州为准备灭吴大造舰船，至此已有七年。王濬说，他造的船有的已开始朽烂了，自己年纪已到七十，死亡无日，实在不愿再白耗光阴，请求皇帝切勿坐失良机。
司马炎被说服了，开始倾向及早伐吴。但是一到贾充等人搬出种种理由反对时，他又迟迟疑下不了决心。他把中书令张华找来对弈，以条理思绪。恰巧杜预的又一份请战奏疏送到，一直主张灭吴的张华把棋局一推，说什么也不肯下了。他极力催促司马炎当机立断，在这种形势下，司马炎终于同意立即对吴采取军事行动。贾充等人听到消息又赶来争吵，惹得司马炎发起火来，他们才不敢再唱反调。
咸宁五年（279）十一月，司马炎命令张华为度支尚书，主持灭吴大局，掌管漕运粮饷。同时，他发布诏书，下令以六路大军，二十万众，大举进攻吴国。这六路是：镇东将军司马伷出涂中（今安徽滁河流域）为第一，安东将军王浑出江西（今安徽长江以西）为第二，建威将军王戎出武昌为第三，平南将军胡奋出夏口为第四，镇南大将军杜预出江陵为第五，龙骧将军王濬等率巴蜀水军，顺江而下为第六。
十分滑稽的是，司马炎选定的平吴主帅竟是贾充。贾充虽反对此次用兵，但却是司马炎最亲信的大臣。贾充上表推辞，司马炎威胁说，如果你不受命，我只好亲行了。贾充无法，只得承命。
在大举伐吴的同时，被司马炎派到西部参与平定少数民族****的讨虏将军马隆连续告捷。
秃发树机能起兵九年，相继斩杀秦、凉二州四位刺史。咸宁五年（279）正月，他又攻陷凉州的治所武威城。消息传来，司马炎坐卧不宁，对臣下叹气说：你们有谁能为我讨平西方啊？宫内宿卫官司马督马隆毛遂自荐，当即被拜为武威太守、讨虏护军。马隆要求自己募兵，自己挑选武器，司马炎满足了他的要求。当年十一月，马隆带领三千五百名募兵渡过温水，与秃发树机能的几万人大军展开激战。由于马隆士兵剽悍，武器精良，他本人又足智多谋，结果连战连胜，不但收复武威，还迫降一部分附属于秃发的河西鲜卑。十二月，秃发树机能被马隆击溃后，不幸为??属所杀。轰轰烈烈的河西鲜卑人的反晋斗争遂告失败。
太康元年（280）年初，南下灭吴的晋军所向披靡。杜预攻克江陵，横扫沅、湘、交、广诸州，王浑渡过横江，胡奋拿下江安。王濬率领的水师连破吴人的横江铁索和水面铁椎，捣毁沿江险关隘口，先与胡奋、王戎等军陷落夏口、武昌，继而长驱东进，直指建邺。与此同时，王浑的大军也到达了江北。
孙皓派出的军队皆被晋军击败，丞相张悌等人战死。这年三月，王濬以水军八万、方舟百里，鼓噪攻入石头城。吴主孙皓无计可施，面缚舆榇，向晋军投降。至此，东吴亡国，三国鼎立后的吴、晋两国对峙的局面结束，全国重归一统。
孙皓投降的消息传到洛阳，举朝庆贺。司马炎拿起酒杯，追念羊祜当年为经营平吴战争耗尽心血，不由得潸然泪下，说道：“这都是羊祜的功绩啊！”南下将士在前方浴血奋战，远离前线的主帅贾充却上表称东吴不易平定，要求司马炎班师回朝，还咬牙切齿地要求将张华腰斩。荀勖也随身附和。就在这时，平吴的捷报进京，贾充丑态毕露。司马炎丝毫没有责怪贾充的意思，反而极力宽抚。
平吴后，司马炎为稳定新征服地区的人心，把孙皓封为归命侯，赏赐大量的衣物、车乘、钱谷，还安排了一些随降的吴国朝臣和大族为官。对于北渡的吴国将吏和百姓，他分别给予免除赋役十年或二十年的优待。
在对平吴功臣进行封赏的时候，司马炎遇到了难题：王濬和王浑为争功而互相指责，闹得不可开交。按说，王濬平吴有首功应该重赏。但是王浑在朝中的势力大，党羽多，儿子又是司马炎的女婿。他们极力争吵，在封赏中占据了上峰，王浑被封为公，王濬却被封为侯。一些朝臣为王濬功高赏薄鸣不平，司马炎为平息众怒，又回过头来给王濬升官加赏，搞得十分狼狈。而那个灭吴的阻力贾充却平白得到增封食邑八千户的赏赐。
太康元年，司马炎将全国的版图划成为十九个州，州之下共设郡、国一百七十三个。政府所统领的在籍人口为二百四十五万九千八百四十户。
这一年，司马炎命令州郡地方政府解散或削减下辖的军队。规定，刺史只作监司，罢将军名号，不领兵，也不兼领兵的校尉官。兵民分治，都督、校尉治军；刺史、太守治民。司马炎说，这是对汉末州刺史既统政事，又掌军权的弊病进行改革，用意在于维护“天下为一”，防止重新出现“四海分崩”的局面。在州郡去兵的同时，他规定大郡置武吏百人，小郡五十人，以维持地方治安。后人批评司马炎的这一措施与造成“永宁（301）以后，盗贼群起，州郡无备，不能禽制，天下遂大乱”（《资治通鉴》卷八一）的结果，有一定的关系。
平吴之后，司马炎在全国范围内颁行占田和课田、户调的制度。法令规定：“男子一人占田七十亩，女子三十亩。其外丁男课田五十亩，丁女二十亩，次丁男半之”。还规定，课田五十亩，收田租四斛。“丁男之户，岁输绢三匹，绵三斤，女及次丁男为户者半输”（《晋书?食货志》）。边远郡县只交户调三分之二或三分之一，少数民族不课田，每户交三斛，再远的交五斗，名曰义米；极远的交钱二十八文叫作算钱。户调为賨布一匹，远地可减至一丈。上述规定只是个平均数，实际征收时还要按照贫富分为九等，根据户等收税，即所谓九品相通。
司马炎实施这一制度有两个目的，一是通过限定最高占田数目，以阻止私人大量兼并土地。二是通过规定课田的最低限额，占田农民根据固定的课田数而交纳固定的课田租税，又使封建国家的租税收入得以保证。
这一制度给农民带来沉重的负担。当时，占田数是农民向政府办理土地登记时的最高限额，至于农民是否能够占有规定的足额土地，政府并不过问，而政府却要求农民必须按足额的课田提供田租。西晋的田租比曹魏时期的亩税额加重一倍，户调则增加了二分之一。这就使得一部分农民因不堪政府剥削，而流入私门，成为豪强士族的依附民。
在颁行上述制度的同时，司马炎又规定了官僚士族按官品占田、荫客和荫亲属的种种特权：一品官可以占田五十顷，以下按官品递减五顷直到九品官占田为十顷；并按官品的高卑荫其亲属，多者及九族，少者三世；六品官以上占衣食客三人，第七第八品占二人，第九品占一人；第一第二品官占佃客五十户，第三品十户，第四品七户，第五品五户，第六品三户，第七品二户，第八第九品一户。“宗室、国宾、先贤之后及士人子孙亦如之”（《晋书?食货志》）。这些被荫占的人口，只附属于大户私人的家籍，不在政府注籍，也不担负国家的租税赋役，只同主人保有着强烈的人身依附关系，受着主人的剥削和奴役。
这一规定保证官僚士族得以占有大量的土地和劳动力，特别是那些占田和荫客尚未达到规定数额的人可以借此补足。这是封建国家第一次以法律形式肯定官僚士族荫占人口的权力，是地主国家对地主分子在人口问题上的重大让步。这一规定也是对官僚士族任意侵占人口和土地的限制，它反映了西晋政府同士族地主之间的激烈争夺。但是士族官僚们并不把司马炎的限令放在眼里，在合法占有之外，还往往通过兼并和私自侵夺攫取更多的土地和劳动力。象司徒王戎广收园田，水碓周遍天下；强弩将军庞宗有田二百余顷；历任方镇的石崇有水碓三十余区，仓头八百余人，田宅无数，仅某一处田庄就有地十顷。宗室司马睦在封国招诱逃亡人口，私占人口达七百余户。
司马炎出身于钟鸣鼎食的贵族之家；从小习于安乐，贪恋奢华。称帝之初，他极力矫情伪饰，一俟统治巩固，骄淫的本性便按捺不住。泰始九年（273）他下诏采择公卿以下的女子以备后宫，并禁断人间婚嫁。到平吴之后，全国统一，天下安定，司马炎遂变本加厉起来。他“怠于政术，耽于游宴”（《晋书?武帝纪》），生活极端腐化。孙皓投降，东吴后宫五千粉黛尽归洛阳，西晋后宫的女子则达万人之多。司马炎不知宿在何宫为好，于是他乘坐羊车，由羊任意而行，停在哪里，就宿在哪里。一些希望得宠的宫嫔，在宫前放上羊喜爱吃的竹叶和盐，诱使羊车停在自己那里。后来宫嫔们互相模仿，羊也不知所向了。