使者就把原委告诉他，李陵这下才恍然大悟，原来他又被误会了。他哪里为匈奴练兵了？那个为匈奴练兵的不是他，是另一个汉的降将李绪。一字之差，使他遭受人间最大的惨祸！他愤怒地派人把李绪杀了。当时李陵在匈奴的地位在李绪之上，单于的母亲大阏氏闻李绪被杀，就想杀李陵，幸赖单于把他藏到北方，等到大阏氏死了以后才又回来。单于对李陵甚为礼遇，把女儿嫁给他，并封其为右校王，居在外，有大事才召回参议。从此，李陵断了归汉的心，胡服胡语，永为异域的人。他恨汉斩了他满门，他恨“老母已死，虽欲报恩将安归”！
这个真相很快地传回汉帝国，已经六十岁的汉武帝显然发觉自己又错了。
这年秋天，朝廷公布了一条法令：“令死罪人赎钱五十万，减死一等。”
汉武帝的那批财经专家，搞出一些卖官鬻爵、捐钱赎罪一类的措施，本不足为奇，只是这命令的公布，在时机上的“巧合”，使人不得不怀疑，是否就是为了司马迁而设的？
五十万钱究竟是多少？当时用的是五铢钱，五十万个五铢钱，约合黄金五斤的价值。拿出五十万钱就可以赎死，是司马迁的一条生路。可是，他父亲当太史令三十年，他自己到入狱时也干了十年太史令，这个俸禄只有六百石的小官，并没有积下什么财富。转向朋友求援的结果，竟是“交游莫救”“左右亲近不为壹言”，谁敢为一个因触怒皇帝而被判刑的罪犯出钱出力？谁又敢保证帮了他的忙以后，会不会惹祸上身？
这条法令看似一线生机，实际上却对司马迁没有作用。到此，摆在司马迁面前的，只有三条路：一是自杀以免受辱；二是接受死刑；第三个则是仅存的最后一条生路——受腐刑以免死。这条法令最初出现在五十年前的汉景帝四年（公元前146年），汉武帝时仍然沿用。
腐刑就是男人去势的宫刑，因为男人去势后，无法再生育，有如腐木不再生果实，所以称为腐刑。谈到腐刑就会使人想起宦官。其实在司马迁以前的古代，受腐刑及做宦官的，与普通士人比起来，并没有如后世那般地受到歧视。
据说最早的时候，在贵族阶级的身旁，常有一些由俘虏而来，或因罪被罚的同为贵族的人，因为聪明或有技艺，在受了腐刑以后，为他们服事执役，其地位甚至在一般从事农牧工商的平民之上。
在秦朝的时候，宦官赵高为郎中令，而且担任秦二世的老师。司马迁的时代距离秦朝不远，稍早的吕后，曾封宦者为侯，而且汉朝的政治组织中，行政性质与宫廷服务性质并存，还保留不少“家臣”的遗风，知识分子所组成的政府组织尚未成熟到与宫廷截然分开，因此宦官还没被皇帝提升到“内廷”的控制集团与宰相领导的“外廷”相对抗，既然如此，则后世所见的宦官恶劣形象尚未形成，也无由形成。因此，此时容易与宦官连成一体的受腐刑，固然难免因常理遭到讥笑，但还不致如我们后世所想的那么坏。
但是司马迁的想法就不同了，他认为人有十等：第一等的人不辱及祖先，次一等的本身不受辱，再次一等的颜色不受辱，再次一等的言辞不受辱，再次一等的卑躯（如叩头长跪等）受辱，再次一等的穿囚衣受辱，再次一等的被戴上刑具受刑而受辱，再次一等的剃了毛发、头上铁索受辱，再次一等的被毁肌肤、断肢体受辱，而最下等的就是受腐刑。“行莫丑于辱先，诟莫大于宫刑”，他认为受腐刑是奇耻大辱。他甚至举出三个历史上受腐刑而被歧视的人的例子，然后说：“夫中材之士，事有关于宦竖，莫不伤气，况慷慨之士乎！”（以上均见于《报任安书》）
司马迁是以“慷慨之士”自居，视腐刑为无以复加的耻辱，于是摆在面前的三条路，似乎只剩下自杀免受辱这一条了，因为冤屈受死刑也是受辱。而慷慨之士的表现之一就是必要时能够引刀成一快，以他的性格应该是做得到的，可是，他反问自己，能死吗？这么一问，那就不是受死刑或自杀的选择问题了，而是生与死的抉择，是“人固有一死，死有重于泰山，或轻于鸿毛，用之所趋（即目的）异也”的判别问题。
慷慨就死诚然痛快，可是自己长久以来所追求的理想，就要随着生命的消逝而变成泡影了。父亲临终时所说的“废天下之史文，余甚惧焉，汝其念哉！”犹在耳际，而当时自己“俯首流涕”地答应父亲说“小子不敏。请悉论先人所次旧闻，弗敢阙”，其情景也历历在目。而父亲死后“绌史记石室金匮之书”及从青年时期的大游历，到随汉武帝巡游天下名山大川，访问故迹遗老所编织而成的论著构思，已跃然笔墨之间。如果只图一时之快，贸然就自杀了，则那些东西岂不成了未完成的“断”简“残”篇，就像为李陵仗义而无法“尽”言，终致含冤而归于湮灭么？
于是，他决定求生，他要留下这条命，为了对父亲的承诺，为了自己未完成的理想而活下去。他向狱官请求接受腐刑以免除死罪，在天汉四年与太始元年间（公元前97年～公元前96年）下了“蚕室”——因为受腐刑的人怕风，需要暖气，所以作暗室蓄火，有如养蚕的房间，所以被叫做“蚕室”。
在旁人看来，这本是贪生怕死的自然反应，无足为奇，但其实，他胸中的郁闷和苦衷岂是身旁的凡夫俗子所能知道的呢？
受刑后的司马迁“肠一日而九回，居则忽忽若有所亡，出则不知所如往”，恍恍惚惚不可终日。只因为说了几句话而“遇遭此祸”，他那些乡亲们都耻笑他，说他污辱了祖先！他也自觉“亦何面目复上父母之丘墓乎”？他愧对死去的父母，每想到这些，就“汗未尝不发背沾衣也”。这种痛苦的心情，直到五六年后，在他写给朋友任安的信中，才尽情地倾吐。
受了腐刑以后，司马迁已不适宜再担任太史令，因为那是与管宗庙有关的官，身体“残缺”的人不适合担任。而汉武帝这边，李陵案已经过去，他心里明白李陵到最后是被他几次误会所逼反，这事件已没有必要再追究下去。由此他连带地对司马迁感到一丝歉疚，何况司马迁的才能，他早就了解，因此，他又把司马迁从狱中调到自己的身边来工作。
宦官的得权，一般都认为要上溯到汉武帝时。他晚年大多在后宫决事，身边自然形成一个在宫内作为皇帝统治工具的集团（内廷），不过那个时候，还没有到由宦官一手包办的局面。汉武帝晚年既然喜欢在后宫“遥控”政府，则原来掌管“出纳王命”秘书工作的尚书，就有机会在中间掌握权力。
尚书的主管叫做尚书令，本来并不是由宦官担任，而是由士人担任，后来有时以宦者担任，就改称为“中书谒者令”，又称中书令。不管是尚书、中书或其他秘书性质的宫廷职位，都是由皇帝在后宫逐渐给予的权力，等到权力和业务范围膨胀到与行政机关相同甚至还要大以后，这个机构则被推出内廷到外廷，成为正式的行政机构，皇帝又在宫内再另外建立内廷系统，后世行政系统的尚书、中书就是这样形成的。
司马迁被任命的新职务就是中书令，中书令傣禄千石，比太史令的六百石要高些，而且等于是皇帝的秘书长，所以《汉书·司马迁传》说他受刑以后是“尊宠任职”。当然，与后世担任这种职务的宦者比起来，他必定只是一个安分守己的秘书长，这除了他本身的因素外，还有两方面原因：一方面因为他只在过渡阶段，另一方面在汉武帝底下也不可能有掌权的机会。
司马迁担任中书令是不是汉武帝改尚书令为中书令的第一任？《晋书·职官志》说：“尚书本汉承秦置，及汉武帝游宴后庭，始用宦者主中书，以司马迁为之中间，遂罢其官，以为中书之职。”
可见尚书令因为改由宦者担任才改称中书令，或许在汉武帝的眼中，受刑之后的司马迁是宦者了，且司马迁受腐刑后，确实常常与宦官接触、共事，但后世实在不忍也不愿把他归入后世观念中的宦官之流——虽然他已符合“宦官”定义的一部分。
自从太初元年（公元前104年）司马迁执笔写《史记》以来，到李陵案发生而被关进监狱，《史记》的撰写已经进行了七年。接着在狱中的两三年期间，据说他也没有停顿，但心情已经全然改变了，并延续到写完为止。李陵案的余响在《史记》中往往可以闻见，司马迁所受的创伤在书中也有相当程度的反映。