胡琏1907年出生在陕西华县赤水镇会东坊北会村，家境贫寒，父亲胡景彦主要务农，有时还要替人打短工，以维持生计。胡琏兄妹三人，兄长胡进禄，他排行第二，妹妹叫胡东菊。胡琏幼年名从禄，在村里读私垫。十三岁上华县高等小学。他资质聪慧，勤奋好学，成绩优异。当时华州一带皮影戏非常盛行，胡琏酷爱皮影，他常带头刻皮影、唱皮影戏，虽然受到小伙伴们的推崇，但也常受到老师的申斥。玩耍归玩耍，聪明的胡琏知道学习的重要，始终把学习抓得很紧，1925年高小毕业时，在同州(今大荔县)举行会试，名列前茅。因此，同学们给他取外号叫“胡子奇”。老师刘淼对胡景彦说：“你家俊儒（胡琏在学校自取的名字）是个好苗子，好好培养，将来一定有前途!”
童年生活很少见诸文字的记载，有的话也仅是只言片语：“幼时与村儿嬉戏，习战阵，自任指挥，授以作坐进退之方，率能中矩。朋辈中偶有龃龉，经片语折中，罔不立效，入学，聪颖异常，每试辄冠同曹。寥寥数语所浮现的一鳞半爪，仿佛是一张曝光不足的老照片，影影绰绰的画面，人物面目一片模糊，只有当他家人的片段回忆串联起这些吉光片羽，已经斑驳淡去的影像轮廓，才渐渐地清晰起来。在那个年代，一般农家的孩子不大会有什么时髦的玩具来陪伴童年，所谓“幼时嬉戏，多习战阵”，不外乎是小男孩们喜欢的官兵打强盗一类的游戏。既然能够自任指挥，看起来胡链在游戏中时常扮演一个一呼百应的孩子王的角色。与同龄的孩子相比，他身高马大，话虽不多却说一不二，似乎有一种与生俱来的摄人威势，令别的孩子不得不折服，真要干起架来，一般也吃不了亏，游戏的结果，大抵是他这一伙人大喜而令别的孩子眼泪鼻涕大放悲声。也许就是在这类以拳头说话的好战儿戏中，他的小小心灵已经沉浸在令行禁止、敢作敢为的快感之中，初次尝到了好勇斗狠的胜利喜悦。村里的孩子们到了求学的年龄，大都就在村子的私塾里开蒙。那时乡村私塾的科目，无非是读些《三字经》、《千字文》、《幼学琼林》之类的启蒙读物，稍大一点的再背些《论语》、《孟子》等经书。一般农家的孩子认几个字粗通文墨之后，也就不再继续读书，开始跟着大人们下地干活，重复他们父辈的命运了。在胡家兄妹几个中，胡琏从小读书就显露出颇高的天分。一上私塾，他的兴趣就开始转移到课本上来，玩闹的野性收敛了不少。那个时候他年纪还小，四书五经读得半通不懂，却能过目成诵，还特别喜欢课本上密密麻麻的蝇头小字，散课之后，他有事没事就会掏出笔墨纸砚来，按照六先生的教法，在白纸上依样画葫芦，一画就是大半天，颇有定力，连院子外面其他孩童的嬉闹，也不再像以前那样对他具有吸引力了。大人们都说，从禄读书之后像是变了一个人，从顽童变成了书童。先生更是喜欢他读书的聪颖和这股子执著认真的劲头，直说儒子可教也
既然有可造之资，胡景彦就决定不妨让二儿子再多读几年书，在胡琏读完私塾大约十三岁的时候，他把儿子送进了华县高小。城里的小学与乡村的私塾大不相同，当时西学东渐，高等小学堂比村里的私塾新派得多了，校园课室像模像样，学习的科目除了背古文打算盘，老师还教授一些新鲜的科学知识，好学的胡琏小学生既新奇又有趣，每天上学读书就更加兴致勃勃了，他的学业也越来越出色，还曾经在全县的小学会考中名列前茅。