大滌山，又名大壁山或大辟山。宋潛說友《鹹淳臨安志》卷二十四《大滌山洞天》條云：「或言：此山清幽，大可以洗滌塵心，故名。」道教將其列入三十六洞天中第三十四，即大滌玄蓋洞天，由姜真人掌管。

根據史料記載，約在晉代起，有修道之人開始在大滌山修煉。元鄧牧《洞霄圖志》卷五載，一個叫郭文的人，河內軹人。十三歲時，在華陰山石室中得到石函，內有神虎內真紫元丹章。晉室內亂之際，他來到大滌山建造茅舍，獨居十餘年修煉。《仙傳拾遺》記載了他的神跡。曾有一隻老虎張著嘴來到他的石室前，似乎有事相求。郭文把手伸到老虎的喉中，取出一塊骨頭來，原來老虎的喉嚨裡卡了塊骨頭。第二天，那隻虎口中銜著一隻死鹿來到石室外獻給郭文。從此這隻虎就常常跟隨在郭文左右，郭文可以撫摸它或牽著它走。郭文如果出山，虎必定跟著他。雖然在城市裡的人群中行走，老虎卻像犬羊一樣低頭隨行，不敢有半點放肆行為。有時郭文把刻寫有文字的竹簡放在虎背上，虎就馱著走。郭文有時把到街上去換米、鹽的山果竹葉裝在筐裡，讓老虎馱著，虎就跟著他走。晉帝聽說後，召他進宮，問他用什麼法術馴服了老虎。郭文回答說：「我只是順其自然而已。人無害獸之心，獸則無傷人之意，何必要用法術呢？你撫愛老虎，老虎就追隨你，老虎就如同百姓﹔你虐待我，我就和你為仇，這時百姓就像老虎。治理百性和馴服猛虎，又有什麼不同呢？」晉帝非常欣賞郭文所言，就讓他做官，但郭文推辭了，繼續隱居起來修煉。後來得道成仙。還有一個叫許邁的人，在永和二年（346年）來此修煉，後不知所蹤。

唐代，大滌山道教開始興盛。知名道士張整、葉法善、司馬承禎等都來此遊歷，在此修煉的道士也逐漸增多，比如潘先生、朱君緒、暨齊物、吳筠、白元鑒、夏侯子雲、閭丘方遠、錢玄同、鄭元章等。潘先生，不詳名字，遍遊山川後，在天柱山停留下來修煉。因為其名聲很大，唐高宗敕建天柱觀讓其居住。朱君緒，入天柱山修煉，後得道成仙。其弟子暨齊物，在大滌山精思院修煉，後不知所蹤。夏侯子雲，師從仙道司馬承禎十數年，承禎成仙後，他在大滌山中開藥圃種靈芝之藥，後不知所在。

宋元時期，大滌山道教走向繁榮。《洞霄圖志》卷五列有宋代列仙、高道二十餘人，比較有名的是馮德之、唐子霞、喻天時、陸維之、石自方、葉彥球、李明素、陳希聲、俞延禧、王思明、龔大明等。陸維之，餘杭人，隱居在大滌山的石室修煉。高宗召見，他稱病拒絕前往，後不知所蹤。元代著名道士有郎如山、沈多福、鄧牧等。明末清初，有龍門派道士相繼居於此山，比較有名的是金築老人、潘太牧等。此後，大滌山道教逐漸走向衰落，在此修行的道士也越來越少。

大滌山上的宮觀，以天柱觀為最早建造。《洞霄圖志》卷六《天柱觀記》雲，漢武帝元封三年（前108年），在天柱峰麓大滌洞前建壇，唐高宗弘道元年（683年），命道士潘先生在這個地方建天柱觀。五代末，改名天柱宮。宋大中祥符五年（1012年）改稱洞霄宮。宋朝著名文人蘇東坡來此遊歷時，曾寫下《詠洞霄宮》一詩：「前生我已到杭州，到處長如憶舊遊。更欲洞霄為隱吏，一庵閒地且相留。」據說蘇東坡的前生就是在此修煉的僧人。唐代時，在大滌山上還修建了玉清觀、上皇觀、精思院等。宋時，除了不斷擴建修葺洞霄宮外，又修建了洞晨觀、沖天觀等。元代除對大滌山原有之洞霄宮、沖天觀等進行修葺外，還建造了元清宮、白鹿山房、清真道院等。主宮洞霄宮，元末被毀，明洪武（1368∼1398年）初重建，清中期被廢棄。

大滌山有大滌、白茆、棲真、石室、歸雲、鳴鳳、蛻龍等山洞，傳說是修煉之人修真之處。大滌山下就是著名的大滌洞。大滌洞被稱為「日月分精」，洞口繚繞著氤氳的冷氣。走近可聞流水潺潺，卻深不見底。兩千年前，漢武帝劉徹曾派人往大滌洞中投遞龍簡以祈福祉。

唐白元鑒有詩曰《大滌山》，讚美了此山的清幽：