唐朝鹹通初年，僧人古心來到獨秀屏下，為其秀美旖旎的風光吸引，遂在此結茅修行，同時化緣建寺。最終，古心在鹹通八年建成一座氣勢宏大的寺院。

寺院建成後，古心開壇講經說法。據說他七日七夜毫不間斷，而且不睡覺不吃東西。講法期間，「水流為止，魚龍躍岸，豹虎俯伏，頑石點化」。世人都認為很神奇。古心和尚還有兩件寶貝：袈裟和茅杵。他的袈裟可以蓋住千畝山林不受破壞，確保百里淨土；而茅杵能縛住蒼龍，使當地風調雨順。因為這個緣故，所以寺院最初的名字是「安文寺」。

宋朝嘉祐年間，安文寺被擴建。治平二年（1065年）改名為「安福禪院」。南宋建都杭州後，安福寺的鼎盛時期也隨之而至。當時有兩件十分轟動的事情，一是高宗皇帝賜住持覺源和尚紫袈裟，二是葛禪師在此舉行了涅槃茶毗典禮。根據《康熙東陽縣志》記載，葛禪師又名安福僧，他在涅磐前的一個多月不吃任何東西，並告訴弟子，自己即將西歸，要他們準備柴火以備焚化。到了涅槃那一天，葛禪師端坐柴火之上，口念「阿彌陀佛」，一手振鈴鑼，一手指西方。當柴火燃起時，葛禪師讓眾人伸出手來，並說：「吾有堅固子從空而下。」果然，眾人都得到了五彩的捨利。焚化之後，「祥雲四布，異香氤氳，鈴鑼之聲竟日，猶隱隱在空中」。圍觀之人無不敬服，由此信眾日增。而此神異之事至今仍流傳不衰。

1120年，安福寺毀於戰火。1127年，盱眙郡守陳宗譽等人重新修建。不過，元朝至元年間再次為兵火所焚。至正初年，名士陳崇等人籌資重建，規模超過以往。當時正殿有前後四寢，左右兩廡重廂共百間。寺內環境幽靜，讓人有超凡脫俗之感。

明朝時，安福寺得以被重新修葺。清初，寺內部分建築毀於戰亂。康熙年間，住持智晟以平素寺產所積及四方募化所得之資重修殿堂。乾隆年間，雪山和尚卓錫於此，重建法堂和文星樓，並修葺東西兩廊等建築。但到了1861年，寺內數百間殿堂樓閣再次毀於兵亂，僅餘下關帝朝、伽藍殿和祖師堂三處。1891年，陳公常出資重建寺院。其中文星樓的建築藝術為一絕，「雕欄曲折，圓而有稜，自下而望，光明洞達，一目瞭然。」另有四大金剛坐像「高五丈有奇，仰望無不脫帽」，號為「傾國泥塑之偉」。民國時期，安福寺走向衰敗，寺內僧人幾不存在。直到1993年，才又重建。

目前，安福寺內留存的珍貴古跡有「一口直徑1.2米，高3.7米，重3.5噸的寶鼎；三尊楠木和樟木大佛像以及一株歷經千年的古樟樹。

安福寺四周還有獨秀峰、碧巖洞府、金異坪、半月山、九峰山等風景秀麗的所在。