西格蒙德·弗洛伊德于1856年5月6日诞生于摩拉维亚一个名叫夫来堡的小城镇（现属于捷克斯洛伐克）一间位于休洛塞格斯街117号二楼的小房间里，那是他家的唯一住所，直到三年后他们才搬走。在这所房子里，住着他的父亲柯拉蒙·雅各伯、母亲亚玛莉和他。
西格蒙德诞生时，他的父亲雅各伯已经四十岁了。雅各伯和前妻曾生有两个男孩：伊马钮，生于1832年；菲力普，生于1836年。西格蒙德的母亲当时才二十岁，和她的继子一样大，甚至比她继子看起来更年轻。
夫来堡的居民中大约有四千多人是天主教徒，一百人是新教徒，另外还有一百多位犹太人，这些人主要是德国国籍。由于在19世纪40年代，当地兴起了民族主义思想，因而他们遭到地方上某些反德国人的居民的仇视。虽然他们身处气氛自由的小小的商业城镇里，大多数犹太人和邻居也处得相当好，但是他们却生活得战战兢兢，唯恐随时会遭到不测。
弗洛伊德的家族迁到摩拉维亚镇夫来堡四年以后，雅各伯的祖父埃弗莱姆和雅各伯一样，都登记为加利肯的流浪犹太人，同时申请允许雅各伯做他的生意合伙人。就这样，祖孙一块儿经营布匹、羊毛、蜂蜜和兽脂的生意。
合伙的生意显然兴旺了几年。1852年底，雅各伯的两个儿子伊马钮和菲力普，也到夫来堡和他们会合。
夫来堡的自然景观和犹太人的意识形态都对弗洛伊德以后的生活产生了深刻的影响。从喀尔巴阡山一直延伸到他家附近的茂密森林，是他孩提时和父亲常去的地方，因而喜爱大自然风景的强烈感情不断在他内心滋长着。他成年时回顾道：“这些都使我满足了智慧上和美学上的需要。”
他三岁时，全家迁离了夫来堡，环境的改变使他的心灵受到了创伤。他后来这样写道：“我在都市里从未真正感到很舒服，我相信现在以至永远，我都不能释怀于对我们家附近美丽树林的渴望……”
和在弗洛伊德生长过程中的自然环境一样对其产生深刻影响的，是他那犹太人的血缘心理，像日出日落一样成为他生活的一部分。父亲雅各伯本性达观乐天，对他同胞们的宗教抱着怀疑的态度，这对弗洛伊德的影响不如母亲亚玛莉笃信宗教的态度深厚。年轻的弗洛伊德对犹太人的宗教很执著，长大以后，他把民族的重要性看得仅次于他的“精神分析”。他经常强调“我的父母亲是犹太人，我自己也一直保存有犹太人的传统”。
他们次年到达了维也纳，在维也纳的一所简陋公寓定居下来。不久就生下了另一个女儿罗莎。
接下去的几年里，亚玛莉又生下了三个女儿和一个儿子，1861年生玛丽，次年生亚多芬，再一年生宝莲，1866年又生了小弟弟亚历山大，现在他们家有七个子女了，一家人首先搬到彼勒卑夫街，然后又搬到菲佛尔街。
西格蒙德先在家里接受父母的教育，然后在私立学校就读了一段时间，最后到当地的公立学校就读。他学习成绩一直名列前茅。
弗洛伊德九岁时，通过考试进入了李波史达德社区学校。他成绩优异，并在十七岁时毕业。
他接受的是严格的古典文化教育。对拉丁文和希腊文的扎实学习使他开阔了眼界，同时也让他了解了古代的世界，因而他对考古学发生了兴趣。他还具有以简单的句子来表达复杂观念的能力，同学大都难以望其项背。
他也学会了法文和英文，在空暇时还自修西班牙文和意大利文。他对自然科学的兴趣可能是由《动物的生命史》这本书所引发的，那是他十一岁时从学校得来的奖品。他在城郊树林里独自散步时，往往会搜集许多植物和花卉的标本带回家中。
在妹妹安娜的记忆里，她哥哥带回家的男孩子，都是喜欢切磋功课的朋友而非玩伴。由此我们可以清楚地知道，少年弗洛伊德是一个用功、执著、决心想要成功的孩子。
弗洛伊德也和他的同龄男孩一样，被军事冒险所吸引。男孩子们不论学习好坏都喜欢玩军人的游戏，弗洛伊德也不例外。他最早读的书中有一本是法国作家狄亚尔的《帝国和执行官的历史》。许多年以后，他还记得他如何在木头步兵背上贴上标签，然后在上面写上拿破仑手下大将们的名字。拿破仑是他早年心目中的英雄人物，马塞那（拿破仑的大将）和亚历山大大帝也是。他将他们的英勇事迹背得滚瓜烂熟。
弗洛伊德对军事的兴趣持久不衰，四年以后普法战争爆发了，他在桌子上放上一张战场地图，在两军对垒处画上有颜色的旗子。他的妹妹安娜曾说：“我哥哥这么做时，还向我和妹妹罗莎讲述战事的一般情况以及军队一举一动的重要性。”
弗洛伊德经常对他的妹妹们高谈阔论。他是母亲的长子，处于最受宠爱的地位，所以他在家里享有很多的权利，而他也毫不犹豫地去使用。他的母亲把他看成“似黄金般的西格”，是她心目中的好儿子，而且家里的人也都这样认为。家里很多事情都以他的想法为标准，尤其是他以最高的荣誉从中学毕业以后更是如此。作为母亲最钟爱的儿子，他在家里的好处相当多。弗洛伊德后来回忆时谈到：“如果一个人成为他母亲无可否认的宝贝儿子，那么他一生都会拥有胜利的感觉。对于成功的自信心也一定坚强，很少不能达到真正的成功。”
他的弟弟妹妹越来越多，全家又搬到一幢较大的公寓去，别的孩子睡房里只能点蜡烛，而他却有煤油灯。妹妹安娜开始学钢琴时，他埋怨钢琴声太吵，最后妈妈竟完全顺从了他的意愿。安娜这样写道：“他向妈妈提出抗议，说若不把钢琴搬开，他就要离家出走。结果钢琴果然不见了！”此外，妹妹说哥哥对她的阅读实行绝对管制，“如果他认为我看的书不适合像我这样年纪的女孩子阅读，他便会说：‘安娜，你现在看那本书为时太早！’”
弗洛伊德对他的家庭，尤其是对妹妹的态度，是他相信命运操纵在自己手里的早期征兆。他后来这样写道：“我似乎记得在整个的这段时期中，我已预感到我的前面有着很多的责任。我在离开中学前写的临别作文中曾明白地表示：希望在有生之年，能对于人类的知识有所贡献。”