寺院东靠山，西傍灵丘城通往岭底的大道。寺前的干石板上有一突突清泉。
泉水冬夏不断。附近的山上有二个倒按下头的大石人，有一棵拧得象麻花一样的古老的大松树。
相传汉文帝刘恒(公元前202年一157年)在代王城(今河北蔚县境内)为王时，有一次他骑一匹白马外出巡视，察看民情，决心励精图治，让百姓安居乐业，永享太平。 历史典故
这一天 ，他带着几名随从到了诏阁境内(即灵丘境内)，当时正是六月天，太阳如火一般炎热。他们过了诏阁城，又走了大约五十多里，到了西淤地(即白马寺)，人马都疲惫不堪，尤其渴得要命。可他们却处在前不见人烟，后不见庄园的境地。怎么办呢？大伙都没有办法，只好忍着痛苦。汉文帝非常焦急。 