杜甫出身于一个“奉儒守官”的小官僚家庭里。在他出生的时候，家道已经衰败，家中清贫，一家人还住在一孔旧窑洞里。他的父亲，只是在山东做了一个小小的县令，事务繁杂，寂寞无名。相比之下，杜甫父亲的名声和功绩远远赶不上他的那些显赫的先祖们。
幼年的杜甫识字之后，他的父亲杜闲就将他们杜氏家族的“黄金家谱”拿给他看。杜甫看得非常仔细，一个字都不漏掉，而且看得越来越自信，族谱里记载了他家多少有名望的祖先啊！他的心豁然大了起来，透亮了起来，感觉有一线天光射进了心底。他的家族曾经是多么显赫啊，可是到了父亲这一辈，却衰败下去了。这使杜甫神色有些黯然。他想，自己一定要担当起振兴家族，重现家族辉煌的重任。
杜甫的十三世祖杜预、祖父杜审言，都是历史上或文化上占有突出地位的人物，闻名于当时和后世。十里八乡的人只要一提到杜甫，准对人说：“这孩子就是杜审言的孙子。”或说：“这孩子的祖先中出了杜预这样的名人，了不起啦。”幼年时代的杜甫听到人们的这些议论，很是得意和骄傲。因此，杜预、杜审言也自然成了杜甫年幼时心中的精神楷模。
杜甫的十三世祖杜预是晋代的名将，也是杜甫家族史上最有名的远祖。杜预在晋初曾为镇南大将军，都督荆州诸军事，镇襄阳，后攻克江陵，控制长江上游，为王睿顺流而下，直指建业扫清了道路。因此，杜预为平吴立下了汗马功劳。杜预因为平吴有大功，其辉煌功绩被时人广泛称颂，当时就有歌谣赞他：“以计代战一当万。”后来杜预又对开发江汉沅湘一带的漕运作出了大贡献，南方又有歌谣赞他：“后世无叛由杜翁，熟识明智与勇功。”可见杜甫是历史上有名的英雄人物之后。
杜甫的祖父杜审言也是了不起的诗人。杜审言，字必简，唐高宗咸亨元年（670年）进士，曾与李峤、崔融、苏味道同被人称为“文章四友”。杜审言自恃甚高，曾对人夸口说：“吾文章当得屈宋做衙官，吾笔当得王羲之北面。”可见杜审言不仅诗文写得好，而且是一个气魄极为宏大的人，一个因自信而非常狂傲的人。能这样的狂傲与自负，足见其文学天赋之高。杜甫为有这样的一位天才诗人的祖父而感骄傲，颇为自得。由于幼年受到家学的熏陶，而且生活在祖父的文学光环之下，他自然从小也非常希望在诗歌上建立像祖父一样的名声，从小也像祖父那样的自信、自负与孤傲。
在杜氏族谱上，除了杜预、杜审言两位名人之外，还有很多显赫人物。杜甫家族在南北朝做的官很大，他的十三世祖杜预是襄阳的望族，永嘉之乱以后，西晋王室南渡，杜预的儿子杜耽也跟着南去，并在江南的朝廷里做大官。后来杜氏家族越来越兴旺，南北朝达到鼎盛，有做左丞、侍郎的，一般也都是太守、刺史。但入隋以后，官却越来越小，多为县令、县尉、员外郎之类，杜氏家族已经由一个儒学世家慢慢转变成了一个文学世家，直至杜甫的祖父杜审言，已经纯然一介文人了。尽管如此，杜氏家族也不失为一个有着悠久做官传统的名门望族。杜甫的这些先祖们曾经历代“奉儒守官，未坠素业”，祖先都“列之以公侯伯子兰”，这样显赫的官僚家族的祖先们，被杜甫视为楷模，使他以他们为榜样，继承儒家思想，树立比常人更加高远而宏伟的目标。
由于杜甫年幼时就在精神上承接了杜预、杜审言这两位在政治上与文化上的名人的精神内核，因此他幼时就怀抱着远大的理想，一切都要朝最高水准看齐，其立足点之高，近于纯粹而完美的理想主义。在这些家族楷模人物的精神熏陶之下，杜甫五岁时开始吟诗，以凤凰等为吟咏对象，出口不凡。
杜甫的外家则是一个与皇族沾亲带故的家族。
尽管杜甫的母亲因病早逝，但杜甫年幼时，外祖母还健在，因为失去了爱女，外祖母更加疼爱杜甫。杜甫的外祖家是河东一个盛大的家族，在洛阳有着豪华高大的宅第。杜甫住在洛阳二姑母家里的时候，外婆就常把杜甫接过去住，把他当作心肝一样地疼爱。杜甫从外祖母那里感受到了亲情与温暖。杜甫的外祖母、外祖父均是皇室之后。他外祖母的父亲，是唐太宗第十子纪王李慎的次子义阳王李琮，也就是说，杜甫的外祖母是唐太宗李世民的重孙女，而杜甫的外祖父的母亲又是高祖第十八子舒王李元名的女儿，也即唐高祖的重外孙子。外祖家气派非凡，势力强大。杜甫也因外祖家的关系，与皇帝的血缘关系并不算遥远，在血统上，杜甫与皇室沾亲带故。他出身在一个“生常免租税，名不隶征战”的特权世家。
因为外祖母的疼爱，使杜甫从小除了受到父系祖先精神的熏陶之外，还受到了来自外祖母家的文化气息的熏陶。由于外祖母家是皇亲国戚之豪门大家，所以杜甫从外祖母家受到的精神熏陶亦不可低估。
尽管杜甫的外家是一个盛大的家族，但外祖母家所承袭下来的并不全是皇亲贵族的荣华富贵，而是一幕幕悲惨绝伦的人间惨剧。杜甫年幼时，他的外祖母还健在，常给杜甫讲武则天当政时他们皇族所受到的残酷打击。外祖母家的那段悲惨辛酸的历史，特别是这段历史中几个关于“孝”的故事，深刻地打动了杜甫。
武则天时期，为了防止李氏皇族推翻自己的统治，武则天对唐太宗的子孙大肆杀戮，唐太宗的孙子李琮被拘于河南狱，其妻关在司农寺。李琮就是杜甫外祖母的父亲。杜甫的外祖母那时每天穿着布衣草鞋，衣衫褴褛，形容憔悴，徒步往来于两处监狱，为父母送饭。那可怜样子让大街上的人们见了很受感动，都说她是“勤孝”；杜甫的外祖母为了让她父母吃饱，自己常常是饿着肚子，尽量为父母亲送些好吃的东西，有时自己还不得不上街乞讨。
杜甫外祖母的两个兄弟行远、行芳发配在川。行远到了成年，将被杀。行芳还小，应免死，但他抱住行远啼哭不放，请求替他哥哥去死，但监斩人不听他的，他说：“哥哥死了，我活着还有什么意思呢？我和哥哥一起走好了，为他在路上做个伴儿，他不害怕的。”当时听到的人都落下了眼泪。最后他和哥哥一起慷慨赴刑场，西南的人同情行芳，称赞他是“死悌”。
这些“孝悌”到极至的悲惨家世，使杜甫的心灵深受震撼，“孝悌”之心深入到了他的骨髓，这使他从小就极重视亲情，非常孝顺自己的父母、姑母、先祖及亲人，这为他以后成为一个人情味极浓的人民诗人打下了基础。唐开元二十九年（741年）杜甫漫游齐鲁之后归洛阳，特意筑陆浑庄于偃师县西25里的首阳山下，那里就有远祖杜审言和杜预的坟墓。杜甫就住在墓边，守护先祖的墓庐，缅怀他们一生的功绩。这一年的寒食日，杜甫还写祭文祭奠杜预说：“小子筑室，首阳山下，不敢忘本，不敢违仁。”这里所说的不敢忘本即是不敢忘了这个远祖，不敢违仁即不敢违背远祖的仁德。可见杜甫的孝，不仅仅只是简单地祭奠先祖，而是含有更深的精神内涵，即要继承祖先的优秀精神遗产。杜甫把“孝”提高到了更高的精神境界。