乌聊山位于古徽州城中部，斜贯全城，依山势分为长青山和斗山两段，将古徽州城劈为两片，西片为古徽州府城，东片为歙县县城。唐代以前称之为“乌聊山”。 地名来源
乌聊山之名，首见陈寿《三国志·吴书·贺齐传》：“十三年，迁威武中郎将，讨丹阳黟[yī]、歙。时武强、叶乡、东阳、丰浦四乡先降，齐表言以叶乡为始新县。而歙贼帅金奇万户屯安勤山，毛甘万户屯乌聊山……” 。 《歙县志·舆地志·山川》中说“乌聊山，一名富山”。
《歙县志》又引《元和郡县志》云，乌聊山“上有毛甘故城，隋末汪华起兵，亦屯此。义宁中自休宁万安山迁治于此。其山磅礴，治城雄挟闤[huán]闚[kuī]，上有数石，圆白特异，号落星石。唐刺史薛邕[yōng]迁汪公庙于上，俗呼为庙山。前为东岳庙，下有仙姑井，宋郑仙姑居此。” 