正在这时候，蘧伯玉率领了一批人赶到了匡地，他见到孔子后，立即万分歉意地说：“我恰好有事去郑国，昨天回来，听文子将军说，夫子不告而别，我们非常着急，向颜浊邹追问，他不肯直言相告，几经追逼，他才说出夫子一行将去陈国，当我们一行抵达此地之前，听说夫子曾饱受一场虚惊，真是太遗憾了！幸好误会冰释，还请夫子看在文子将军的薄面，回转大驾，望勿推却。”
孔子见他词意恳切，也就答应了。蘧伯玉又说：“史鱼曾大力推荐我，卫灵公却未能采用，后来文子将军又向卫灵公说项，仍不见用，文子见我家贫，时常予以周济。”
孔子说：“文子真不愧为贤卿相，他以自己的去留为你力争，你该感激图报，不可辜负人家一番盛情。”
“谨受教。”蘧伯玉深受感动地说。
孔子率领弟子们再度返回卫国，住在蘧伯玉的家里，卫灵公待之以客卿礼。没有多久，贤大夫史鱼病危，他临终前吩咐家人道：“我任官于朝廷，这么多年来，一直想举荐蘧伯玉，罢黜弥子瑕，始终未能如愿，我生不能正君，死也不当成礼，我死以后，不必急于入殓安葬。”
说完，就断了气，家里的人只好遵从遗命，不敢入殓。文武百官前往吊唁时，询问何以不入殓，家人据实相告。卫灵公知道以后，亲往致吊时，悔恨交加地对史鱼的家人说：“寡人未能采纳忠谏，这是寡人的过失。我会设法补救的，你们赶快把他的遗体入殓吧。”
卫灵公返回宫中后，立即下令进用蘧伯玉，并将弥子瑕降职。
孔子感慨地说：“古来忠臣谏君，至死方休。而史鱼在死后，尚能尸谏，终于感动了君王，史鱼称得上是一位直臣了。”
卫灵公的夫人南子是宋国的公主，貌美而淫，未嫁前，就曾与人私通，生性淫乱的南子和美男子弥子瑕也有暧昧关系，因此丑闻四播。她生得漂亮，又小有才气，卫灵公对她言听计从，久而久之，她就干预起政事来了。凡是有所求于君王的，只要走走她的门路，必定可以成功。她听说孔子是一位大学问家，生得魁梧异常，却一直没有被重用，也不来向她请托，这倒反而引起她必欲一见的好奇心。
时间愈久，好奇心愈强烈，她按捺不住了，于是派人去宣召孔子进宫。孔子何尝不了解这是进身的机会，但他决不肯这么做，一个正人君子，怎可利用裙带关系而达到目的？他拒绝的理由是，不是出于卫灵公的命令，就不合礼法；不合礼法的事，君子不为。
像南子这种被宠幸惯了的女子，说到就要做到，否则，决不甘心。最后，她运用了一些技巧，说动了卫灵公，以卫灵公的名义召孔子入宫，孔子不能再拒绝了。
孔子被带进宫以后，在一间挂着帷帐的会客室晋见南子。孔子神情肃穆地站立在那里，不一会儿，听到有环佩的声响来自帐后，孔子低头向北面长揖，帐后响起了一阵清脆的衣裙、环佩叮当的声音，表示南子正在还礼。这倒是罕有的事情，也许面对孔子，南子的心中不由得不生起敬仰之心。
事后，子路埋怨说：“这种女人，为什么要去见她？”
孔子解释说：“我何尝愿意见她，只是为了礼貌，不得不去一趟。如果我有什么错误的话，上天会厌弃我，上天会厌弃我！”
孔子那一番委屈迁就的苦衷，竟不为刚直的子路所谅解，他老人家只好以誓言来使他理解了。
自从孔子见过南子以后，卫灵公认为孔子并不如想象中那么严肃拘谨，因此，在行动上不免有点随便，在他心中，认为彼此的感情更接近了一步。但在孔子的眼里，就不合乎礼法了。下面的一则故事，是促使孔子决心离开卫国的直接原因。
有一天，卫灵公派人来找孔子，说有要事相商。孔子进宫以后，卫灵公突然有事需要出去一趟，于是，征求孔子的意见。他说：“我刚好有事要出去，你我就在车上谈，怎么样？”
孔子一听，这也没有什么不可，于是就答应了。正在这时候，南子打扮得花枝招展地走了过来，她撒起娇来，也要跟着去。
本来，像这种场合，卫灵公应该当场拒绝才对，可是他没有。孔子站在一旁，进退两难，尴尬万分。灵公歉意地向孔子说：“那就请你乘后面一辆车子吧。”
灵公和南子坐进车厢，由太监雍渠驾驶。一路上招摇过市，路人为之侧目。孔子从那些人的眼神里，不难体会出人民心中的恶劣印象。让一位名闻天下的学者跟在后面陪乘，这简直是一种侮辱，孔子的心中真不是滋味。
事后，孔子叹息说：“我没有见过如此爱好美色的人！”
孔子认为卫灵公这种做法不成体统，于是决心要离开了。他叫弟子们赶快收拾行囊，第二天就准备启程。蘧伯玉和文子苦苦挽留，孔子约定以后有机会一定再来会晤，并留下几个弟子在卫国出仕，然后才依依作别。