泰始四年（268）正月，司马炎批准颁行新律。这部晋律因初施于泰始年间，故史称《泰始律》。
《泰始律》从咸熙元年（264）开始编修到是年完成，前后共费时二年半。修律的名义主持人是贾充，著名的学者羊祜、杜预等十四人参与了制定工作。与新律同时完成的，还有张斐、杜预为泰始律所作的注解一部。全部律文共有“二十篇，六百二十条，二万七千六百五十七言”，加上四十篇全文，“凡律令二千九百二十六条，十二万六千三百言，六十卷，故事三十卷”（《晋书?刑法志》）。
《泰始律》是我国古代一部重要法典。它对汉魏旧律进行了较大幅度的改造整理，使其更加简约完备，成为巩固西晋地主阶级统治的有力工具。《泰始律》对后世影响很大，南北朝乃至隋唐的法律无不打上它的烙印。它的体例比较严谨，虽然律文的篇目比旧律大为增加，但其条目却比旧律省减了两千有余，确实克服了旧律错杂重出的弊病，有简便易行的优点。《泰始律》比前代律令的内容有所放宽。它“减枭、斩、族诛、从坐之条”，对女子的判处也有从轻从宽的用意。《泰始律》的这些变化，使其在实行中能够起到缓和阶级矛盾和统治阶级内部矛盾的作用，有利于巩固司马氏的江山。另外，《泰始律》比汉魏旧律远为完善准确。它首次把作为规章制度的“令”与刑法典的“律”正式区分开来，并注意到犯罪与违法行为的界限，对加减刑、累犯加重和数罪并罚等制度也十分强调。
司马炎非常重视《泰始律》的颁行。他让尚书郎裴楷执读，亲临殿堂为臣下讲解，并接受侍中卢珽、中书侍郎张华等人的建议，将新律有关死罪的条目誊抄出来，张悬在各地的亭、传给老百姓看。
在颁行新律的同月，司马炎命令杜预草拟官吏黜陟的办法。杜预建议在各部门设置主持考课的官吏，逐年对考课对象进行评定，然后根据他们在六年任期中成绩的优劣予以升降。他特别强调，对不称职的人不能过分宽容。杜预制定的考课办法虽然比较合理，但是司马炎还是把它否定掉了。这是因为，西晋政权是司马氏与其他士族的联合专政，司马炎为了稳固帝位，就不能不想方设法地照顾功臣勋贵和士族的利益。只要不直接威胁他的统治，司马炎对他们一律取放纵包庇的态度。上一年，以山涛为首的达官贵人强占官田，为司隶校尉所弹劾。司马炎避贵施贱，只把参与其间的一个县令处决，而对山涛等人一概赦免不问。如果认真实施杜预制定的考课法，必然触犯许多士族的利益，就会出现司马炎所不愿看到的一些结果。
这年九月，司马炎解除了镇戍淮南的大司马石苞的兵权。石苞靠投靠司马氏集团起家，是西晋王朝的开国元勋。他曾参与平定诸葛诞的兵变和劝说魏帝禅让而有功于司马炎。自从平定诸葛诞以后，石苞一直代镇淮南，已达十一年之久。淮南驻军士马强盛，靠近东吴前线，石苞又久着威名，这使司马炎十分不安。司马炎虽然在政治上经济上优容功巨勋贵，但是绝不允许他们控制重兵，构成对政权的威胁。恰巧，石苞与淮北监军王琛不合。王琛密表洛阳，声称石苞私通东吴。同时，荆州刺史胡烈也上表说，东吴人准备有大规模的军事行动，石苞听到风声后已开始筑垒遏水进行设防。一连串的消息加深了司马炎的疑虑。他对羊祜说：每次吴人进犯，常东西相应。这次偏师北上，难道石苞真要造反吗？于是司马炎以“不料贼势，劳扰百姓”的罪名将石苞免职，并派出宗室司马望率领大军开赴淮南???以防不测。石苞预先知道消息，主动放弃兵权，到寿春的都亭等候处理。司马炎这才松下心来，对石苞不再追究。
司马炎解除石苞的兵权，除出于对石苞的戒心，还有比较长远的战略安排。当时，江东的孙吴在暴君孙皓的统治之下，早已危机四伏，国力日衰，人心思乱。这一有利形势为西晋灭吴统一全国提供了可能。司马炎决心加强对南线的军事部署，着手进行灭吴的准备工作。泰始五年（269），他把才识出众的尚书左仆射羊祜拜为都督荆州诸军事的职务，坐镇襄阳（今湖北襄樊）；把镇东将军卫瓘从徐州调往青州，改派宗室司马伷为都督徐州诸军事、镇守下邳。
羊祜虽然不是司马氏的宗室，但却是司马师的内弟、西晋皇室的重要外戚。晋国初建，羊祜曾与荀勖共掌机密，后又为中领军，统领王国卫队。司马炎受禅后，他以尚书左仆射之职兼卫将军，仍是执兵之要，事兼内外。羊祜有卓越的军事才能，到襄阳后，他努力安定民心，减轻赋税，采取各种办法，加强军事物资的储备，使晋吴对峙的局面不断向有利于西晋方面转化。河西之乱与平吴决策泰始六年（270）六月，河西鲜卑秃发树机能起兵反晋，秦州刺史胡烈镇压失败，被杀。
汉魏之际，鲜卑拓跋族的一支由部落酋长秃发匹孤率领，从塞北迁到了河西，历史上把这支鲜卑人称作河西鲜卑。河西鲜卑活动的区域，大致“东至麦田（今甘肃靖远县）、牵屯（今宁夏固原县），西至湿罗，南至浇河（今青海贵德县），北接大漠”（《晋书?秃发乌孤载记》）。他们之中的一部分人已同汉人杂居。司马炎担心河西鲜卑不易驾驭，特地从雍、凉、梁三州中分出陇西、南安、天水、略阳、武都和阴平六郡组成秦州，把在西部颇有能名的胡烈委任为秦州刺史，以达到镇抚的目的。
秃发树机能起兵反晋是因受到汉族统治者歧视引起的。在灭蜀战斗中，凉州兵立有大功。战后论功行赏，五千鲜卑健儿没有得到与汉人一样的赏赐，遂铤而走险。杀死胡烈后，秃发树机能又吓退坐镇长安的司马亮派来援救秦州的大军。
河西败报传来，司马炎非常震恐。他免去司马亮都督秦、凉州诸军事的职务，改派另一宗王司马骏接替他镇守关中。司马炎又任命尚书石鉴都督秦州诸军事，负责平定河西鲜卑****。石鉴到达秦州，强令与他有芥蒂的新任秦州刺史杜预出兵，遭到对方的拒绝。杜预向石鉴提出比较稳妥的攻战方案，石鉴不予采纳。他一面逮捕杜预，一面亲自带兵与秃发树机能交战，结果仍大败而归。
秃发树机能的兵力越战越强，周围地区的少数民族受到鼓舞纷纷起兵反晋。泰始七年（271）四月，凉州的北地胡人造反，与秃发树机能合谋袭击金城（今甘肃兰州西），将凉州刺史牵弘诱至青山击杀。
西方战事日趋紧张，司马炎深感忧虑。侍中纪恺给他出主意说：只有安排象贾充这样有威望有智谋的人亲自挂帅，战乱才能平息。司马炎觉得很有道理，随即任命贾充都督秦、凉二州诸军事开赴西部战场。当时，贾充官任侍中、尚书令、车骑将军，是朝内最有权势的臣下，素有宰相之称。贾充与侍中兼中书监荀勖、越骑将军冯紞等人朋比为奸，操纵朝政。任恺是他们的反对派，推荐贾充西行，目的是使他远离朝廷。贾充不愿此行，求计于荀勖。荀勖劝他与太子结亲。贾充等人买通了皇后杨氏，又在皇帝面前大造舆论，终于使司马炎答应了以贾充之女贾南风为太子妃的亲事。碍于亲家的面子，司马炎就不再提及挂帅之事，贾充由此而免去了西征之苦。
这时，被司马炎派到南方主持荆州军事的羊祜也遇到强硬的对手：东吴西线军事的主帅已由陆抗出任。陆抗为东吴名将陆逊之子，本人也是个出色的军事家。陆抗上任不久，便攻破西陵（今湖北宜昌），将献城降晋的步阐击杀，并打败羊祜等人率领的援军。羊祜知道灭吴不是一朝一夕的事情，遂一面继续积蓄力量，一面以信义对东吴边界军民施加影响，等待时机。
泰始十年（274），陆抗病死，东吴西线的防御能力明显下降。羊祜开始筹划南进的军事部署和作战方案。咸宁二年（276）十月，羊祜给司马炎上表，请求伐吴。羊祜认为，西晋灭吴的条件比当时灭蜀的条件远为成熟，只要司马炎肯下决心，平吴是不成问题的。但是，羊祜的建议遭到贾充、荀勖等人的坚决反对。他们以秦、凉地区的****尚未平定为理由，极力阻挠南进。羊祜再次上表陈述早日发兵的原因，然终未能获得司马炎的同意。
司马炎不能下定灭吴的决心，除因西部****外，还有他分封诸王以屏卫皇室的计划没有完全实现的因素。自泰始分封以来，司马炎没有认真要求诸王就国，多数宗王留官或留居洛阳，也有部分宗王出任都督。咸宁三年（271）七月，司马炎接受卫将军杨珧等人的建议，始命令诸王就国。他按照户邑的多少，把王国分为三等。“邑二万户为大国，置上中下三军，兵五千人。邑万户为次国，置上军、下军，兵三千人。五千户为小国，置一军，兵千五百人。”（《晋书?地理志》）由于诸王贪恋京师的奢华生活，都把救国看作是一件极为痛苦的事情，史称“皆涕泣而去”。这些懦弱无能的宗王在以后的政治事变中几乎没有发挥什么作用，司马炎所预想的目的并未实现。在命令在京诸王就国的同时，司马炎对于“诸王为都督者，各徙其国使相近”（《资治通鉴》卷八十）。由于这一部分宗王“出拥旌节，莅岳牧之荣；入践台阶，居端揆之重”（《晋书?汝南王亮传序》），既能持节掌握一方军政，又能操纵左右中央的朝权，权力过重，野心膨胀，遂在司马炎死后酿成了“八王之乱”这样空前的历史大悲剧。