公元1086年9月，在山西闻喜县南旧夏县涑水乡竖起了一块高大的墓碑，上面刻着“忠清粹德”四个大字，墓碑后面静静长眠着的是当朝宰相、大史学家司马光。
司马光为官近40年，大部分时间是在中央任职，官职不低，俸禄也不少，本可以拥有万贯家财，富甲天下，但他一生戒奢戒侈，清俭廉洁，他的美德被人们万古传颂。
熙宁元丰年间，司马光离开京都，身居洛阳，潜心著书，后来完成了光辉著作《资治通鉴》。
洛阳为北宋西京，王公大族在这里住的很多，因此到处可以见到深宅大院，亭台楼阁。有的园宅建得富丽堂皇，气势恢宏，飞檐斗兽，华丽无比。而司马光住在洛阳西北数十里处的一个陋巷中，只有几间避风雨的茅檐草舍。一到三九寒天，北风呼啸，茅檐多被风卷去，室内冷气袭人；盛夏，又酷热难熬。
一年冬天，大雪纷飞，天寒地冻，北风狂吼，一般有钱人家都得生火取暖，而司马光家竟连一盆炭火也没有，屋里寒气逼人。这时，一位东京来的客人慕名拜访司马光，在“客厅”里，宾主落座，热情交谈。谈了一会儿，因室内寒冷，冻得客人瑟瑟发抖。司马光很报歉，只好吩咐熬碗栗子姜汤给客人去寒。客人喝了姜汤，自然身体暖和了一些，又叙谈一阵，起身告辞。
后来，这位客人又去拜访范镇，范镇家中，不仅有炭火取暖，而且摆上丰盛的酒菜，宾主频频交杯，消寒去冷。前后对比，客人便提起了拜访司马光的事，感到司马光对人冷淡。范镇听了，认真地说：“不，你不了解他。他一向崇尚俭朴，不喜欢奢华。不是对你冷淡，我到他家也一样。平日，他自己连一杯栗子姜汤也不喝呢！”客人听了十分感动。
后来，司马光想了个办法，解决了房屋“夏不避暑，冬不避寒”的问题，他在房中挖地砌砖，修了个地下室。因此，当时的西京人流传这样一句话：“王家钻天，司马入地。”
司马光本来官高势显，积万贯家财，富甲天下，是完全可以办到的，然而，他却如此清贫自守。
司马光为官正派，一生忧国忧民，他看到北宋人民卖儿卖女，无以为生，宗亲贵臣之家都花天酒地，挥霍无度，十分憎恶，他认为：“府库之财，民之膏血”，必须节用开支，以舒民力。嘉祐八年，宋仁宗向大臣们赏赐财物，金银珠宝，丝绸绢帛，光彩夺目。大臣们个个乐不可支，有的还觉得皇上给的少。司马光见此情景，十分反感，于是上疏皇上，指出，国家正处多事之秋，“民穷国困，中外窘迫”，表示不接受赏赐，他把所得珠宝交给谏院作为办公费。
司马光为人心地善良，经常把俸禄周济穷困的亲戚朋友。有一个叫庞籍的人，死后遗下孤儿寡母，生活无着落，非常可怜，司马光便将他们接到家中，待他们如同自己的父母兄弟，使周围的人深受感动。后来，他的妻子故去了，他竟连安葬妻子的钱也拿不出，只好把仅有的三顷薄地卖掉，安葬了妻子，这就是人们传颂的司马光“典地葬妻”的故事。
司马光不仅自己一生节俭，他还特别重视教育子女勤俭，他写一篇《训俭示康》一文教育儿子司马康，必须养成俭朴习惯。他说：“衣服能以蔽寒，吃的能够充饥就可以了。许多人以奢侈豪华为荣，我独以俭朴为美德。”他还引鲁国的大夫御孙的话说：“俭是一切美德的基础，奢侈是万恶的根源”。他引申解释说：“凡是俭朴的人私欲就少，有地位的人私欲少，就不会被五光十色的物质所诱惑，就能走光明正大的道路，一般的人私欲少，就能够自身谨慎，节俭花费，避免犯罪，发家致富。所以说，俭是一切美德的基础；奢侈，就私欲多，有地位的人私欲多，就会贪图富贵，离开正道招来祸患；一般的人私欲多，就会多取滥用，败家丧身。因此当官必然受贿，当平民必然偷盗。所以说，奢侈是万恶的大根源啊。”
司马光以其高尚道德赢得了崇高的威信，被誉为“真宰相”。田夫野老，妇人孺子，都知道有个司马相公。宋哲公继位以后，司马光被召回京师，听说司马相公要从洛阳回来了，人们几乎倾城出动，都要亲眼看一看这位“大人”。史书记载当时的情景是：“都人叠足聚观，致马不能行。有登楼骑屋者，瓦为之碎，树枝为之折。”人们都以亲眼目睹司马光尊容为一生荣幸。
司马光晚年，年老体弱，他的好友刘贤良要用50万钱买个女婢供他使唤，司马光当即复信谢绝，说：“吾几十年来，食不敢常有肉，衣不敢有纯帛，多穿麻葛粗布，何敢以五十万市一婢乎？”
司马光的俭朴德行对后辈影响很大，他的儿子司马康做官以后，也像父亲一样节俭朴素，被称为“为人清廉，口不言财”的一代廉士。