司马迁是杜甫青少年时代的楷模人物。杜甫了解司马迁的全部历史。司马迁二十壮游，不仅使他获得了广博的社会知识，搜求了遗文古事，而且开阔了视野，扩展了胸怀，增长了他的见识和才干。后来，他奉使巴蜀以南之游，足迹遍及今西南大地，历时一年又三个月。再后来扈从武帝之游，从出仕郎中到中书令，从巡武帝三十余年。这些不同性质的出游，都使得司马迁有条件对深广的社会生活作全方位的考察，为后来成功著述《史记》奠定了扎实基础。
于是，一个漫游的梦想也逐渐在长大的杜甫的大脑里孕育成熟了。很快，杜甫就长到了二十岁，他想，是该出去长长见识的时候了。
当然，要漫游天下不是一件容易的事情，需要克服漫游中体质上的重重困难。体质虚弱的人是难以完成艰难的漫游生活的。杜甫小时候体弱多病，现在他的身体也并不是十分强壮，但这时的杜甫已经是一个意志坚定的人，自己想办到的事情，哪怕是遇到天大的困难也要办到。二十岁的杜甫，已经长成了一个有着强烈梦幻色彩的理想主义青年，他刚毅的脸上表现出一种极强烈的进取心和行动欲。
那时的漫游，有着相对便利的交通条件和稳定的社会基础。首先，当时的社会环境非常安宁，野无拾遗，道无劫匪。国家富裕，经济繁荣，统治阶级生活富有，物价便宜，为漫游提供了必不可少的物质条件。其次，当时水陆交通发达。早在隋朝，南北运河就凿通了，洛阳成了南北运河的中心，从洛阳沿运河往北可以直达北京，往南可以直达扬州，又于镇江对岸渡江，经江南运河，到达杭州。在陆地上，长安与洛阳之间的驰道笔直广阔，两旁植青槐、果树，极为讲究。酒店更是遍布全国城乡，并有驿马供旅客使用，出行极为便利。因此，这一时期私人旅行是很方便的，为漫游提供了便利条件。
杜甫后来在《乙昔》诗里对漫游时的情景写道：“稻米流脂粟米白，公私仓廪俱丰实。九州道路无豺虎，远行不劳吉日出。”真实地概括了当时漫游的社会环境。
开元十九年（731），杜甫二十岁，那年，辞别了洛阳的亲人，开始前往吴越游历。
这次漫游从洛阳出发，沿着大运河，杜甫首先到达江宁（今江苏南京）。
当时江南最繁华的城市是扬州。江宁既不是江南的政治中心，也不是商业的中心，但作为六朝古都，却吸引着无数骚人墨客前往观光与凭吊。杜甫有机会看到了“王谢”的风流。只可惜“旧时王谢堂前燕，飞入寻常百姓家”，过去的风流早已“雨打风吹去”，一去不复返了。杜甫只好感叹历史的脚步之匆匆，徘徊在谢安、王导等人故居的门前，想其贤德的为人，想昔日六朝时代的繁盛情景，久久不肯离去。
在江宁，杜甫结识了许八和旻上人。其中，杜甫与旻上人来往最为密切。旻上人虽是佛家出身，却是一个多才多艺的人，他善于吟诗，擅长下棋，很有生活情趣。他常披着袈裟，与杜甫相携徜徉于江宁的湖光山色之中，两人在一起划船赋诗，很有兴味。旻上人对杜甫的诗歌极为欣赏。每次杜甫作了新诗，旻上人都对之交口称赞，并拿去给在江宁的文朋诗友们看。杜甫因此在江宁的诗友们当中很有名声，他的诗歌也得以在江宁一带广为传播。
江宁秀美的山水陶冶了杜甫的心灵，使杜甫感觉到生活的另一面，这就是人与自然相融洽的亲密关系，人在自然中，如同在画中一样，身心都感到清爽和自由。这培育了他对自然的热爱之情。
杜甫在江宁与旻上人的交往非常快乐，直到公元758年杜甫做左拾遗，同僚许八回江宁省亲时，杜甫还托许八寄了首诗给旻上人。其诗为《因许八奉寄江宁旻上人》：
不见旻公三十年，封书寄与泪潺湲。
旧来好事今能否，老去新诗谁与传。
棋局动随寻涧竹，袈裟忆上泛湖船。
闻君话我为官在，头白昏昏只醉眠。
这首诗表达了三十年不见的伤情，并倾诉为官的抑郁之怀，足见当初二人交往之深。
旻上人长期居住在江宁，对江宁的人文历史都了如指掌。在旻上人的指点下，杜甫得以欣赏到江宁最具有艺术魅力的壁画，那是三四百年前东晋大画家顾恺之创作的维摩诘的画像，在江宁瓦棺寺里。
这是一幅有着极高的艺术和美学价值的神奇壁画。关于这幅壁画的由来，有一段艺坛佳话，据《京师寺记》记载，东晋兴宁（363——365）中瓦棺寺重修就绪。僧众设会，请朝贤“鸣刹注钱”（捐钱为古刹重振名声），捐钱者没有超过十万的。轮到顾恺之了，他就在本子上注明捐百万。后来寺众请他兑现，他就叫他们准备一面粉壁，闭户绝往来一月余，画维摩诘一躯，画完了，将点眸子，便对寺僧说：“第一个参观的，请让他施舍十万钱，第二个观者可让他施舍五万……”等到门窗一开，光照一寺。来观看、施钱的人挤满寺院，一会儿就得到了百万钱。这则故事足见顾恺之艺术在当时的魅力。
除了壁画之外，顾恺之在壁画上书的蝇头小字也令人拍案叫绝。
公元758年，杜甫在做左拾遗，同僚许八回江宁省亲时，杜甫送诗相赠，还提到当初看顾恺之壁画时的情景。其诗中有：“看画曾饥渴，追踪恨渺茫。虎头金粟影，神妙独难忘。”时隔三十年后，还能回忆起当初观顾恺之壁画时如饥似渴的情景，可见当初观顾恺之的壁画给他留下的印象是何等深刻。
顾恺之的壁画，是杜甫漫游途中在艺术上的最大收获。正如童年时代观公孙大娘舞剑，青少年时代出入王府听著名音乐家李龟年的歌曲一样，杜甫接触到了当时一流的艺术。这对杜甫艺术品位的提高和将来的诗歌创作都有极大的益处。
观顾恺之的绘画艺术极大地激发了杜甫的创作灵感，使他一生与画结缘，与画家结缘。当世的名画家王维、曹霸、王宰、韦偃等都与杜甫常有交往，与画家郑虔的关系更是密切。由于这种接触与熏陶，使杜甫写出了不少咏画的好诗，如《画鹰》《天育骠图歌》《刘少府山水障歌》《题松树障子歌》《画鹘行》《题壁上韦偃画马歌》《丹青引赠曹将军霸》等。这些诗，大多借画抒怀。后人评杜甫的这些诗说：“杜以画法为诗法，通篇字字跳跃，天机盎然，见其气韵。”可见杜甫的诗法深受画法的影响。艺术的各门类之间是相通的，尤其是诗歌与绘画之间，相通处更多。人们在评论王维的诗画时说其“诗中有画，画中有诗”，这就很好地说明了诗与画之间的联系。事实上，绘画与诗歌的相通在于它们都表达了“真善美”的本质，在于它们形式不同而内涵却是大体一样的。因此，观画对于诗歌创作也是大有好处的。