胡适故居在上庄村内。清光绪二十三年（1897）建。是胡适先生父亲胡铁花所造的两进一楼通转式结构。正屋南向，砖木结构，二进三间两厢，“回”形通转楼。占地208平方米，建筑面积350平方米。门面二柱单门一楼式，上嵌砖雕等。
前庭有天井，两旁有厢房，楼上为“通转楼”，楼下是堂屋。后进为内庭，栏板隔扇，精雕细刻，梁托上一对荷花仙子栩栩如生，门窗上饰以兰花雕板，出自胡开文墨庄制模高师胡国宾之，返映出胡适“我从山中来，带来兰花草”的浓浓乡土之情和立出风格。辟为庵堂。
大门前和正厅上各悬着我国著名书法家沙孟海亲题的“胡适故居”直，横两块黑底金字牌匾。厅内摆设如旧。门前黑底金字“胡适故居”横额，下挂胡适中年画像，两旁对联：“身行万里半天下，眼高四海空无人”。东西分列茶几、靠背椅，壁间挂胡适直系亲属图表。
胡适先生当年结婚用的房间里，西部是胡适与江冬秀结婚房间，房内有木床、桌、椅、橱、凳等。特别的是一张“月宫床”朱漆描金，富丽典雅，镂徽派雕刻各种戏文及花鸟。床额上方装有刻着’诰命“二字的小红漆箱。是胡适父亲胡铁花的遗物。床右侧还悬挂一把胡铁花当年佩用七星宝剑。
前厢房是胡适童年读书处。东部房间连厢房为胡觉（胡适二兄）使用。正厅正厢房展出胡适家长手稿和部分著作、胡氏宗谱、海内外名士所赠字画、诗词和胡适“全家福”照片。后堂进深较浅，堂前挂胡适父亲铁花画像，东侧有胡适生母冯顺娣照片。上悬朱底金字巨匾，“持节宣威”4字为邑人程东屏书，款落“绩溪县长朱亚云赠，民国三十一年”。故居内12扇落地隔扇门阴刻兰花，4块窗棂板刻花草题字，为墨模高手胡国宾作。
故居还陈列胡适各时期照片，胡适手书范缜《神灭论》立轴，张之洞赠胡铁花帽筒，胡铁花七星剑、诰命箱及从台湾带回的海螺。两厢陈列胡适家书，还有许多现代社会名流题赠的字画。
转过正厅就是后堂，中间隔一小天井，小厅上悬一块红底金字大匾，-”持节宣威“四字。是当年胡适出任美国大使时，国民政府所赠。