万灵寺位于顺庆区潆溪镇五龙山巅（今潆溪镇方水井村），距南充市10公里，距潆溪镇3公里。潆溪镇内的潆溪河，源出西充仙林场，流经顺庆数乡镇，汇入嘉陵江，故以潆溪而名其镇。五龙山不高，连绵五座小山，形若五龙盘距。尤奇者山上沙砾卵石沉积，宛如龙鳞，故称龙山或前山。后山高而险峻，形若灵龟，俗称龟山或后山。
明神宗万历年间（约1600年），五龙山上修建了五龙庙，正殿塑观音菩萨，偏殿供奉龙神，寺庙窄小，规模不大。崇祯年间（1631-1643年），张献忠统义军四次入川，转战南北，曾驻军此山。时值炎热夏天，士兵多中暑病倒，无法解救。张献忠焦急不安，察看地势，形若龙蟠，乃命士兵找来泉水饮用。官兵一服即愈，取之不竭，以为观音显圣，称为龙泉或灵泉；并亲手栽榕树五株，以示纪念。次年（1644年），张献忠攻破成都，建立大西政权，后在西充凤凰山殉难。清朝康熙年间（约1700年），国泰民安，当地善男信女自动捐钱捐树，重建寺庙，更名五龙寺。在五龙山上修建了山门，天王殿、大雄殿、观音殿、万佛阁与藏经阁。山腰龙泉处修建龙泉亭和放生池，张献忠所植五榕，已成参天大树。又在龟山上修建了药师殿、地藏殿、阎罗殿、灵骨塔。常年香烟缭绕，梵声悠扬，人如潮涌，热闹非凡。
解放后，五龙山寺庙办作学校，“文革”破旧，拆庙毁林，荡然无存。1999年1月，王晓蓉、陈兴旭、王碧琼、蒲惠琼、王泽莲、万学芳、任素芳、余善洪等居士组成筹建组，公选王晓蓉任组长，在五龙山五龙寺废墟上重建寺庙，更名万灵寺。四处募化与告贷，耗资三百余万元，在松林丛中建成大雄宝殿与藏经阁，阁上用枣木刻《金刚经》一卷，绕阁读经，别具一格。大雄殿下左建圆通殿供奉观音；右建寮房与食堂，品字排列，异常壮观。当地政府退耕还林时，划拨102亩土地给寺管理。筹建组债台高筑，信念虔诚，扩建殿阁，远超清代。丛林梵刹，金碧辉煌，绿树红柱，相映生辉。既为佛教添彩，更给旅游增辉。初请释继志（俗名萧端午，嘉陵区河溪乡人）主持佛事；2003年7月离寺他去，2004年，继聘释续宏（俗名关仁立，蓬安县锦屏镇人）为住持。