如此往复，到了司马迁任太史令的第5年，他主持了一场历法修改工作。会上遇见了上大夫壹遂与他交谈，便把自己要著修史书的志愿说了出来，欲以孔子著《春秋》为榜样，并表明这也是先父的心愿。上大夫听着感觉新鲜，便问："从前孔子为什么要写《春秋》呢？"司马迁打开了话匣子，译成白话文有上千言作答。他说孔子所处的时代王道衰微，孔子仁政的主张得不到实现，只能将胸中的是非褒贬寓于那二百四十多年间的历史当中。如此种种，故写了《春秋》。
壹遂不解，说："孔子那时是遇不到明主，得不到重用。可现在武帝圣明，你又有官做，那你还想要论述什么呢？"司马迁觉得他说得对，但也不全对。因为想起伏羲纯正厚道，而有《易经》、《八卦》。尧舜强盛，而有《尚书》。便说："史书不一定要针砭时事，也可以记载功德。这也是我作为史官的职责所在。所以从这一点来看，我欲作《史记》，还是不能与《春秋》相比的。"壹遂了悟，并也表示支持。
于是，司马迁才真正开始动手编写之前五年所整理的文献和材料。至此，司马迁已经快四十岁了，男人四十一枝花，他有没有妻子却不曾提起。据现在的史料考证，有一个女子十七岁时嫁与他，人称柳倩娘，貌若天仙颇有才学。难怪司马迁可以数十年如一日地过着修史的单调生活。
