待司马迁说完，群臣噤若寒蝉，只见汉武帝龙颜大怒，斥道："你这是在责怪李广利没有尽到责任吗？你和李陵是什么关系，竟要袒护他？"要知道李广利可是汉武帝当时最喜爱的女人的哥哥，那妖精早就把汉武帝给折服了，岂能容得外人说他们兄妹的坏话。司马迁一通大实话，反而给自己带来牢狱之灾。汉武帝当即以"诬罔主上"，也就是攻击诬蔑咒骂皇上为罪名，将司马迁打入了大牢。
司马迁也够倒霉的，蒙冤入狱不算，又落到了当时名声很臭的酷吏杜周手里。杜周对司马迁简直是严刑逼供。司马迁虽然瘦，可也是陕北出来的硬汉子，又有文人气节，哪里肯为了少受些皮肉之苦而认罪。于是就一直困于牢中，等待皇上开恩释放。谁想后来传闻说李陵在帮着匈奴训练军队。汉武帝信以为真，便草率地处死了李陵的母亲、妻子和儿子。司马迁也因此受到牵连，被判了死刑。
这简直是晴天霹雳，司马迁首先想到的是自己还没有完成父亲的遗愿。就这样死了，如何有脸面去见九泉下的父亲。他想起当时的刑法，死罪犯人有两种方法可以免死：一是交五十万块钱作为赎金，二是接受宫刑，宫刑也就是阉割男人的生殖器。这刑法也真够缺德的，司马迁面临着这三重选择，十分痛苦。死是不能死，可家里又没有那么多钱，朋友们知道他惹恼了皇上都不敢再和他往来，更不可能借给他钱了。在绝望之下，他最终选择了宫刑。接受这种刑法的人，畏风怕冷，随时都有生命危险，因此在施刑的牢房当中必须保暖，就好像民间养蚕的屋子一样，所以，受宫刑也叫下蚕室。
相比肉体上的折磨，精神上的痛苦还要剧烈。人们都把他当太监，都耻于跟他为伍。司马迁何尝不想一死了之，他自己曾说：即使是奴隶、婢妾在受到侮辱的时候，都知道以死来摆脱，何况他是堂堂太史令。然而他退一步深思道："死可以重于泰山，也可以轻于鸿毛。如果我就这样死了，人们会以为我畏罪而死，一生的冤屈都洗不尽，生命也变得一文不值。不如忍辱偷生，一定要写出一部伟大的史书。像周文王被商纣王拘禁，而推演出《周易》；孔子困于陈、蔡两国而作《春秋》；屈原被逐，著成《离骚》；左丘明双目失明，才编撰了《国语》；孙子受了膑刑，仍论述兵法；吕不韦被流放蜀郡，世上才有《吕览》流传；韩非被囚禁秦国，才写有《说难》、《孤愤》。凡《诗》三百首，都是圣贤抒发胸中郁闷而作。"于是，他就从黄帝开篇，一直写到了汉武帝的时候。每篇末尾都加以评论。
