广胜寺寺始建于东汉桓帝建和元年(147年)，原名俱庐舍寺，亦称育王塔院，唐代改称广胜寺。唐大曆四年(769年)，中书令汾阳王郭子仪撰置牒文，奏请重建。宋、金时期，广胜寺被兵火焚毁，随之重建。元成宗大德七年(1303年)，平阳(今临汾)一带发生大地震，寺庙建筑全部震毁。大德九年(1305年)秋又予重建。此后，明嘉靖三十四年(1555年)和清康熙三十四年(1695年)，平阳一带又发生地震，但这两次地震寺宇未遭大的损坏，除上寺飞虹塔及大雄宝殿明代重建外，其余均为元代建筑。
广胜寺分上、下两寺和水神庙三处建筑。上寺在霍山巅，翠柏环抱，古塔耸峙，琉璃构件金碧辉煌。下寺在山麓，随地势起伏而建，高低错落，层叠有致。水神庙与下寺毗邻，墙垣相连，内奉明应王，其中元代戏剧壁画在国内外享有盛名。
上寺由山门、飞虹塔、弥陀殿、大雄宝殿、毗卢殿、观音殿、地藏殿及厢房、廊庑等组成。
下寺由山门、前殿、后殿、垛殿等建筑组成，均为元代建筑。
广胜寺的建筑在建筑科学和结构力学方面都有其独到之处。寺内保存的元明时代壁画、木雕、泥塑及琉璃作品等都具有较高的历史、艺术价值。特别是现存于北京图书馆的金代皇统版的《赵城藏》数千卷，对研究中国印刷史和宗教史具有十分重要的价值。