公元前139年，当时的皇帝，也就是年轻的汉武帝刘彻，开始建造自己的陵园，地址选在他母亲王太后的原籍槐里县茂乡。汉武帝看中了这个地方的风水，但是嫌这个地方太荒凉，于是他改茂乡为茂陵县，并鼓励人民迁往茂陵。凡是自愿迁移到茂陵居住的人家，每户赏赐钱20万、田2顷，如此丰厚的待遇，吸引了不少人往茂陵迁移。此外，汉武帝又在渭水上面架起一座便门桥，连通长安和茂陵，方便了两地之间的联系。茂陵逐渐繁盛起来。
公元前127年，汉武帝听取了主父偃的主意，将各地的豪强地主和家产超过300万元的富裕之户迁到茂陵，这样不仅利于茂陵的繁荣兴盛，而且更利于汉武帝加强对豪强地主的管制。
富豪们对这个强制性的命令很反感，但又不敢不听。那些富豪之家，都是经历了好几代的经营才富起来的，他们在本乡本土各有自己的一套赚钱的办法。“徙陵令”一下，要他们举家迁到人生地不熟的茂陵，一来再也不能靠世代居住的地方赚钱；二来要受朝廷的严密监视，等于失去了自由。富豪们实在不愿背井离乡，但是王命不可违，只好无可奈何地依令迁居到茂陵去。
这一年，司马迁10岁。他家不富裕，并不在朝廷下令的迁徙之列。司马谈的考虑是，茂陵新迁去了许多人家，其中不乏才俊之士，可谓藏龙卧虎。有益于儿子的交友长进。何况，那儿离京城不算远，便于拜名师指点学业。迁居茂陵后，自己离家近，也可以经常辅导儿子的学习，关照家里的事务。
听到父亲的决定后，司马迁可高兴了，外面的世界一定比小小的芝川镇新奇得多，广阔得多。
家里人整理行李，选好了起程搬迁的良辰吉日，做着搬家的准备工作。经过几天忙碌，行李和家什装上了牛车，就要起程出发了。邻居都来帮忙、送行。司马迁那群一同放牛的伙伴都来了，恋恋不舍地为他送别。
几辆牛车载着家当，缓缓地走出了芝川镇。司马迁坐在摇摇晃晃的牛车上，看着家乡熟悉的屋舍和人群渐离渐远，看着自己流过汗的田地和放过牛的原野被抛在身后，心中陡然升起浓浓的别离之情。
经过一路颠簸劳顿，司马迁一家迁入了茂陵显武里定居。
茂陵，距京城长安只有几十里路程，等于是在天子脚下。由于已迁来许多富豪，这里成了一个新兴的小城，街市繁华，十分热闹。通往京城的路上，往来的行人车辆不断，京城内外，宫门上下的消息很快就能传到这里来。这个新的生活环境，陌生而新鲜。
京师长安更是一片繁华景象，金碧辉煌的建筑星罗棋布，街道上人来人往、熙熙攘攘，各种叫卖声此起彼伏……小司马迁对这一切都充满了好奇和向往。孩童天然的贪玩之心也使他对一些游艺场所跃跃欲试，但是在父亲严格的督促和教诲下，他排除了一切外来诱惑的干扰，一心一意地学习。
司马谈安置好家后，继续从事太史令的工作。他要儿子司马迁尽快熟悉环境，安下心来，温习功课。
司马迁知道，父亲正在为他物色老师。他在家中擦亮小几，打开一捆捆竹简摆好，认真读起来。文字里的世界对他有着特殊的魔力，他很快便沉浸到文章之中去了。