元朝廉访史也儿吉尼为纪念秦监御史禄、汉伏波将军马援、唐桂管观察使李渤、唐桂州防御使鱼孟威“四贤”于元至正十五（1355）兴建。据元代黄裳《灵济庙记》记述：“兴安灵渠，有史禄始作以通漕，既而汉伏波将军继疏之，唐观察史李渤始为铧[huá]堤以固渠，作陡门以蓄水，而防御史鱼孟威复增修之。” 简介
清康熙五十四年（1715），广西巡抚陈元龙曾重建“四贤祠”。后又倾圮[pǐ]。现存二层古式建筑，为1982年重建，还增置了游廊、东西门楼、小榭[xiè]等，面积851平方米，祠院占地2500平方米，祠内塑“四贤”像以供人瞻仰。院内现存历代石碑26件，多为建祠记事碑，其中一碑半边平陷大树内，被誉为“树吞碑”奇观。