據說，雁蕩山名字的來源是因為「崗頂有湖，蘆葦叢生，結草為蕩，秋雁宿之」，故名。

如此靈秀之處，自然也是修煉人選擇修煉的佳所。據說，西周時王子晉成仙後曾騎鶴飛臨此山，十分喜愛雁蕩山的美景，便在此駐腳，一連吹了九支曲子。下山後他在小溪中洗了玉簫，才又跨仙鶴離去。現在的仙橋景區就是仙人飛臨之地。

大概在南北朝時，佛教傳入雁蕩山。不過，佛教在此的真正興起是在唐朝。相傳，雁蕩山的開山祖師是如來佛的弟子、十六羅漢中排位第五的諾詎那。釋迦佛曾告訴諾詎那：「你將在一個山水絕妙的地方建寺，那個地方用花名做村名，用鳥名做山名。」後來，諾詎那帶著三百弟子雲遊天下，找了好多地方都沒有找到這個去處。一日，他來到雁蕩山下，但見此處憑海臨風，奼紫嫣紅，花香鳥語，心中暗暗高興，便詢問當地的一位老者該地和該山的名字。老者回答說，這個地方叫芙蓉村，山叫做雁蕩山。諾詎那終於找到了釋迦佛預言之地，於是他領著弟子們進山開始興建寺院。佛教自此興盛。諾詎那後在大龍湫觀瀑坐化。人們因此尊奉他為雁蕩的開山祖師。諾詎那之後，有許多僧人在此修行，在宋時達到了鼎盛時期。

雁蕩山的寺廟自唐時開始修建，宋時除了修葺還建造了更多的寺廟，有十八古剎、十六亭、十院之稱。比較有名的有靈峰寺、白雲庵、靈巖寺等。雁蕩山有許多奇景和仙跡，還有許多美麗的傳說。全山共分為靈峰、三折瀑、靈巖、大龍湫、雁湖、顯勝門、仙橋、羊角洞八個景區，其中「二靈一龍」（靈峰、靈巖、大龍湫）被稱為「雁蕩三絕」。

從山腳，經石門潭、東石樑洞、謝公嶺，就可以看到靈峰。靈峰與旁邊的倚天峰緊緊相依，白天遠遠望去，好似參禪的雙掌合十膜拜，故名合掌峰。靈峰中有觀音洞，由大懸崖凌空夾峙而成。洞內有佛寺依洞而築，共分九層，號稱九重天，裡面供奉著觀音菩薩，周圍的洞壁上擺了大小不一的佛像。洞內有「洗心」、「漱玉」、「石釜」三泉。相傳有一天，一個僧人在此修煉，當他唸經時，岩石上的水滴一點一點的滴下來，他卻稱之為「洗心」。當刺籐滑破了他的臉時，他也不覺的痛。他的虔誠最終感化了來欺侮他的狐狸、蜈蚣精和狼。

合掌峰巨壁的左側縫間有一個手指大的活像觀音菩薩的石像，人們稱它為「一指觀音」。根據民間傳說，它與觀世音菩薩還有淵源呢。一天，觀音菩薩坐在蓮台飄過雁蕩山上空時，看到山中煙火沖天，鞭炮震天響，就化作一個老婆婆下去查看發生了什麼事情。原來人們正在觀音洞裡用檀香木浮雕刻菩薩的像。而要完成這個佛像，需要990斤銀子。於是，化作老婆婆的菩薩找到方丈勸他不要這樣做，因為是勞民傷財。方丈不聽，還說：「修行人，只求超脫凡塵，為什麼還要計較錢財呀？」並責備老婆婆「燒香拜佛空念一世經」。誰知方丈話沒說完，合掌峰間刮起了一陣狂風，把未雕好的檀香木觀音像刮的無影無蹤，觀音洞內則落下來一串串珍珠。在人們去撿時，珍珠又變作水珠流走了。此時空中傳來聲音：「誠不誠，看真心；塑巨像，害死人！」而那未雕成的檀香塑像，則越變越小，最後只有九寸九分九長了，貼在了縫隙間。而方丈趴在地上，也一動不動了。

元代文學家李孝光曾寫道：「峭刻瑰麗，莫若靈峰；雄壯渾龐，莫若靈巖。」靈巖有奇峰麗石，其中小龍湫、臥龍谷靈秀奇詭的美景美不勝收。

雁蕩山有許多瀑布，有名稱的達十八處，最著名的是大龍湫，湫即為「瀑」的意思，瀑高190餘米，其磅礡的氣勢令游者歎為觀止。「雁蕩自奇，不附五嶽；龍湫所注，別為一川」。雁蕩的開山祖師諾詎那就在此坐化。

還有雁蕩山最北端的仙橋景區，除了仙人王子晉騎鶴飛臨之地外，還有仙亭山、仙人洞、仙溪，都與仙人有關。

如果說北雁蕩山是佛家修行之地，那麼南雁蕩山則是浙南的道教名山。南雁蕩山最高峰為明王峰，海拔 1070 多米。道教在此興起大概是在中唐，兩宋時發展興盛，元明達到頂峰。主要道教派別是以仙姑洞為主流的正統龍門派，一是以五十丈宮為主流的天師道正一派。道教聖跡有仙姑洞、怡心院、三台道院、五十丈宮、東樓隔宮等。

仙姑洞，又名西洞，位於碧溪以西，西山之腰，唐時稱「石室」，宋時方稱「仙姑洞」，始建於南宋孝宗隆興年間(1173)。正殿供奉著朱氏仙姑坐像。據《仙姑寶卷》稱，朱仙姑名「蟬媛」，家住鬧村，是南宋高宗紹興年間進士朱璧登之女。她幼時就不食葷，聞魚便吐，見肉便嘔。她八歲能文，十歲能詩。待長到十六歲，其父母把她許給大財主劉百萬做媳婦。但她一心向仙，堅決不同意這門婚事。她拜白水漈老道姑為師，父親率人一把火燒掉茅庵，但蟬媛並未因此轉意。她離開白水漈到南雁西洞繼續修道，她夜間織麻，日間採藥，自食其力。有一年，瘟疫流行，她用草藥治好三百多人，連三個已經死去的孩子也被救活了。一個月夜，朱蟬媛突然不知所蹤，人們都說她已升仙了。人們為了紀念她，就在她修行的洞中，修建了道觀。

明代文人章元梅曾有詩《望雁山》，讚美了雁蕩山的雄偉奇特。