据《厦门志》记载:明万历年间,有一名士池显方在玉屏山建“玉屏寺”,他在自撰的《虎溪岩记》文中谓:“乙卯冬,余寻幽至此,欣赏奇观,因建刹,名玉屏,左为大雄阁,棱层洞,夹天径,后为石寺,上为飞鲸石,右为六通洞,宛在洞。”建成后,池显方即迎请僧人主持,并整日与僧人学禅论道。或于三五夜月,邀请文人雅士对月吟唱为乐,乃有“虎溪夜月”胜景之雅称。又仿庐山虎溪三笑故事以自比,别称虎溪岩为“东林禅寺”。后于明末清初之际,玉屏山毁于厦门战乱,至清代康熙年,元飞和尚应福建水师提督吴英之请来厦门主持该寺,并大兴土木,重建大雄宝殿,增建垂云楼、大悲殿、一啸亭、伏虎洞。经三十多年苦心经营,才颇具规模。
虎溪岩满山皆巨石,尽皆奇险天成。山门旁有一巨石如芽,其上镌刻"先露一芽"。入得山门,顺着蹬道,有"渐入佳境"、"三笑"等题刻,使人游兴倍增。蹬道尽处就是"虎溪",虎溪上架着弓形石桥,俗称"仙人桥",亦称"渡虎桥"。过了弓形桥,来到"灵则名"洞,洞名取意唐刘禹锡《陋室铭》中的"山不在高,有仙则名,水不在深,有龙则灵"之句。洞里甚凉,使人有"入洞方知六月寒"之感。