华严寺建寺时间比素有东北四大丛林之首的极乐寺还早，是依据佛教华严宗的经典《华严经》命名的。寺院原有四座大殿，供奉着诸佛菩萨，名家题字甚多，其两层砖雕与木结构更突出华严寺的独特之处，其砖雕艺术极为独特，青砖采取“磨砖对缝”的垒法，是哈尔滨市保存完整和造型独特的文物。
在经历战争、土改等历史的多次磨难后，砖雕人物依然栩栩如生。如今的华严寺占地一千两百多平方米，仅剩下天王殿、华藏世界两座大殿，但整个寺院宏伟依然。从其四周的高楼上望下去，华严寺四周近距离地建起车库与高楼，僧人们担心，四周楼房和车库越来越多会影响寺院建筑，也不利于砖木结构的安全防火。
一九九六年，市民族宗教事务局与南岗区为落实宗教房产政策，保护好华严寺，将寺院旁的饭店迁移，这时候才算基本恢复原貌。