《太初历》顺利得到颁布实施，司马迁长长地吁了一口气。回到家中，他郑重地点燃三炷香，插在父亲牌位之下的香炉里，把新历法得以实施的过程，默默告知父亲的在天之灵。
改历之后，那种太平盛世的气氛，使司马迁仿佛感到实现父亲遗愿的时机到来了；感到作为孔子的一个继承人，写作《春秋》那样一部伟大著作的时候到来了。
他决心做一番不朽的事业，成为继孔子之后又一个有成就的人。这一年，他42岁，正是年富力强、精力充沛的好时候，是该到了收获的季节了。
他整理父亲留下的资料和自己多年游历、阅读积累的笔记，开始构思自己要写的这部史书。
随着各个时期的历史资料陆续理顺，司马迁的创作思路逐渐清晰起来。他要突破以往史书的体例和叙事方式，写一部具有创造性的气势恢宏的大书。他把这部构想中的史书称为《太史公书》。
这部书所述史实的时间，上起传说中的黄帝，下至当朝太初元年，就是颁布实施《太初历》这一年。
体例上有本纪、世家、列传、书、表，这也是一种独创，“本纪”是写各代帝王生平事迹的，“世家”是写各时期的王子诸侯贵族的，“表”是记录各时期的王子诸侯、高官显贵活动的简略时间表，“列传”的内容最多，分别记述一般人物和谋士、将相、侠客、巫师、商贾等的生平和活动，“书”讲的天文水利、经济、文化、艺术等方面的情况。司马迁将采用这五种体例，网络式地将轩辕黄帝以来的数千年历史囊括其中，把《太史公书》写成一部前无古人的纪传体通史。
以前的史书，如《尚书》的纪事，从唐尧时代开始记载。司马迁决定上溯到轩辕黄帝，因为在他看来，尧舜盛世，是黄帝奠定了好的基础。
司马迁跟从皇上巡行时，曾在黄帝的故地采集了不少关于黄帝的逸闻旧事。
根据当地的民间传说，黄帝姓公孙，名轩辕，长居姬水，后改姓姬。黄帝时期，诸侯互相侵伐，天下大乱，百姓遭殃，其中蚩尤最为暴虐。黄帝修德振兵，平定混战的诸侯；诸侯慑于威力，才归顺黄帝。
黄帝在阪泉打败炎帝，又在涿鹿擒杀蚩尤。天下平定，诸侯推举黄帝做了天子。黄帝深孚众望，带领各族酋长，日夜操劳，种五谷、造农具、养蚕制衣、发明文字、研制医药。百姓安居乐业，道不拾遗、夜不闭户，天下太平，人们称当时为“大同”世界。
《太史公书》决定从轩辕黄帝写起，就是肯定黄帝为华夏各族共同的祖先。司马迁对自己的这个立意，感到很满意。
有了决心，并且构思已定，司马迁就开始利用业余时间专注地投入到写作中。他先从自己实地考察过的本朝开国史写起，最后写出《项羽本纪》。