晋文公元年（公元前636年）春，秦军护送在外逃亡19年的文公重耳归国即位。走到黄河边上时，跟随重耳多年的大臣咎犯担心回国后受到疏远，便向重耳请求道：“臣跟随您奔走于天下，过错颇多。这一点臣自己非常清楚了。请您准许我就此离去。”重耳安慰他道：“我在河伯面前发誓，归国后一定与您同甘共苦！”说完把玉壁投入河中，与咎犯订立了盟约。当时，介子推也正随重耳归国。他听到了二人的对话，不禁笑道：“其实是上苍为公子打开了归国的道路，咎犯竟然认为是自己的功劳，以此向公子邀功求禄，真叫人感到羞耻。我怎么能与这种人同列为官。”于是，他便有隐退之意。
重耳回到晋国后，改革朝政，施恩于民。对于跟随自己逃亡的人以及立下功绩的人，他根据功劳的大小分别一一予以奖赏，有大功的封给采邑，有小功的授以爵位。论功行惯尚未进行完毕的时候，因弟弟反乱而逃奔郑国的周襄公向晋国求救，文公重耳忙于处理此事，犒赏群臣由于一时疏忽而忘了介子推。介子推本人也没有向重耳伸手求禄。
介子推在家里对母亲说道：“晋献公有九个儿子，现在只剩下了君主一人。惠公夷吾、怀公子圉无人依附，国内国外都抛弃了他们。但上苍没有断绝对晋国的恩宠，必定择定一人主持晋国，这个人非君主而莫属。君主归国即位，实际上正是上苍的福佑，而那几个跟随君主的人把功劳都归为自己，不明明是欺骗吗？窃取别人钱财的，尚且被称为盗贼，更不用说贪天之功为己有了！在下的臣子虚报功劳，在上的君主赏赐奸佞，在下的在上的相互欺骗，我和这些人实难共处啊！”他母亲说道：“你自己何不也去要求奖赏，白白死掉，又去埋怨谁？”介子推说道：“明知他们是错的，又去效仿他们，岂不是错上加错！何况我已口出怨言，决不能享用他的俸禄了。”他母亲问道：“既然这样的话，你也让他们知道一下真相，怎么样？”介子推答道：“语言是修饰表现自身的，连自身都要归隐了，何必再去修饰表现呢？如果再去表现一下，就无异于希求显达了。”他母亲又道：“你果真能这样做吗？要是能，我就和你一起避世归隐。”介子推于是和他母亲一同隐居起来，至死没再露面。
介子推原来的随从很同情他的处境，就写了一幅字挂在宫门上，字的内容是：“龙欲上天，五蛇为辅。龙已升云，四蛇各入其宇。一蛇独怨，终不见处所。”文公重耳出宫门时，看到了这幅字，说道：“这说的是介子推啊。我只顾考虑周襄王的事情，忘记了给他行赏。”他派人去找介子推，介子推已经离去，又派人四处打听介子推的去处，听说已躲进了绵上（山西省介休县东的介山）山中。文公就把环绕绵上山的土地封给介子推，称之为“介山”，说道：“以记吾过，且旌善人。”
（《史记·晋世家》等）