背负金乾峰和紫霄峰，从玉帘泉西行1．5公里，便可来到这座占寺的遗址。归宗寺为庐山五大丛林之首，距县城12公里，位于星德公路与星蛟公路的交接处，有溪水潺潺绕寺而过。寺前地势平远开阔，寺后山势回翔如鸾，古樟成荫，翠竹丛生。在中国的禅宗史上，归宗寺占有重要一席。
关于归宗寺的由来，流传有这样一个故事。晋朝王羲之任浔阳太守时，曾在金轮峰下游览。去职以后，遂卜居于峰下。晋咸康六年(340年)，四域高僧达摩多罗(一说为佛驮耶舍，不确)来见，王羲之推重他的为人，于是舍宅为寺。据方志材料记载，归宗寺“壮丽甲于山南诸刹”。宋代著名文学家苏辙在咏归宗寺的诗中写道：“来听归宗早晚钟，疲劳懒上紫霄峰；墨池漫垒溪中石，白塔微分岭上松。佛宇争雄一山甲，僧橱坐待十方供；欲游山北东西寺，岩谷相连更几重。”
历唐宋以迄元明清，归宗寺几经毁坏和重修。清朝康熙年间，迦陵国师从沈阳来到庐山，于此修佛殿三座，禅堂、客堂、斋堂数十楹，增置产业，雍正、乾隆时，朝廷又先后赐予匾额、藏经，拨付国库款银修建行宫、国师塔，归宗寺盛极一时．并一度更名为瞧云寺。咸丰年间，因太平大国战争，归宗寺遭到一定程度的破坏。不过，更大的劫难还是在抗日战争时期，归宗寺后舍利塔山有一座铁塔，本是三国时的遗物，塔高六丈，呈六角形，用铁板铸成，为庐山仅有的金文古迹，与东林寺铜塔称为“庐山双美”，竟为日军火炮所击毁，而藏经阁内镌刻精巧、为世所珍的末明时代的名人真迹，包括黄山谷等名家的书法石刻28块在内，以及佛像、经卷，全部被日军洗劫一空。日军炮击金轮峰，在归宗寺一带与中-队激战，归宗寺殿宇、房舍几乎全部被焚，归宗寺附近的金竹庵、大力庵、香泉寺、三祖庵、红花庵无一幸免，现在只剩下明朝永乐年间铸造的千斤铜鼎，和清同治九年(1870年)所铸的万斤铁钟收藏于星子文物管理所。