据传，洞初开拓时，在这里建阁奉祀理学家朱熹，因朱熹曾在江西庐山建白鹿洞讲学，遂取名白鹿洞。后人在石洞中雕造一只白鹿，加以传说美化，因此有“白鹿衔烟”的传称，列为厦门“小八景”之一。

白鹿洞创建于清康熙四十四年（1704年），开山祖师为苇老和尚。在此之前，明曾建有义学，清初“迁界”，鞠为茂草。康熙三十七年（1698年），威略将军吴英为水师提督，为奖励文教，建造文昌殿，复构萃文亭，增置学舍为教学之所。不久，转为琳宫梵宇。乾隆十六年（1751年），代理水师提督倪鸿范倡学，乃逐僧徒，迁佛像，拆殿宇，建玉屏书院。道光四年（1824年），洞僧永瑞上人募集资金重建大观楼，自撰《重修白鹿洞序》。

清末民初，书院衰落，佛教再兴，先后重修、扩建寺宇，由觉斌和尚住持。后觉斌就任南普陀寺都监，由妙廉继任。建国后，1958年部队借住寺宇，曾对寺宇进行重修。1988年由旅居香港的元果法师集资兴修，扩建殿堂楼阁，新塑诸佛菩萨金像，铺砌石级、石栏。装修楼台亭阁，寺容寺貌，焕然一新。现住僧众10余人。

白鹿洞后悬崖石壁上有许多摩崖石刻，大都出自名家手书，其中有“明天启癸亥（1623年）十一月二十日，广陵朱一冯以督师剿夷至此。”和“天启癸亥，晋阳赵纡督师到此”的两行石刻，具有重要的历史资料价值，为史学界所重视。