新店乡北端有座高耸入云的升山飞来峰，传说越王勾践时，它一夜从会稽飞来。山巅有座升山灵岩寺，以山西岩石间时闻钟鼓之音而名。寺庙建于南北朝陈天嘉三年（公元562年），占地面积近15亩，升山寺是福州市最古老的名刹之一。升山寺的大雄宝殿、观音阁等建筑已毁，现存的部分寺宇仍宏伟壮观，清幽静谥，占地面积586平方米，系清光绪丁末年（1907年）重修。寺庙前后各有一个气势雄壮的古僧塔垅，上圆下八角形，塔座有虎象等八种动物浮雕，形象朴实逼真。
在后山的树丛草莽中，发现两块相邻的岩石，上有五段不同年代的摩崖石刻。东边岩石上有林则徐等人的题刻，全文是：“道光庚戌（1850年）夏，邑人林则徐、郭柏苍，同蜀李惺游升山寺。”西侧岩石上有三段题刻，其中一段字径8厘米，楷书，是宋时光禄卿直昭文馆、福州知军州程师孟等，于熙宁三年（1070年）五月十九日游升山时所题。抗日战争期间，日寇曾两度入升山寺烧杀，寺院因此残破不堪。