天柱山，古名皖山，春秋時為皖國封地，安徽省簡稱「皖」即源於此，故天柱山為安徽的「源頭山」。西漢時，漢武帝曾親登皖山，並封其為「南嶽」。在祭岳時，人群高呼萬歲，所以後將此山稱為「萬歲山」。後來隋朝文帝封衡山為南嶽，因此人們將天柱山稱為「古南嶽」。大概在唐朝之後，因為其主峰雄偉峭撥如「擎天一柱」，故名天柱山。

如此雄奇靈秀之處，自然也是追求成仙得道之人的修煉佳所。大概在東漢、三國時，就有修煉之人在此修煉。後來天柱山還被道教尊為第十四洞天、五十七福地。比較有名的修道之人是三國時的左慈。今天的天柱山上還留有當年左慈修行的石室和煉丹池，在馬祖庵附近的良藥坪。如今分別稱作蓮花洞和煉丹湖。傳說左慈頗有仙術。《潛山縣志》記載：「鱸溪在縣北吳塘。魏武帝行軍至潛，忽思鱸膾，左慈取銅盤釣之得數十尾，武帝釋其半於溪時：正暮春。今惟柳絮飛時有之，謂之楊花鱖。」後來左慈得道成仙。

從南朝開始，亦有僧人在此修行。當時著名的僧人為宋齊時的寶志，他在天柱山上建造了最早的寺廟，名為山谷寺，即後來的三祖寺。《神僧傳》記載，寶志常有異跡。比如，他常常數日不吃東西也無饑容；他有時通過賦詩來預言事情，預言開始讓人費解，但後來無不應驗。當時江東士庶都很推崇他。齊武帝認為他是謠言惑眾，就將他抓起來，關在了建康的監獄中。第二天，人們在街市上看見了他，再檢查獄中，發現人仍在裡邊。寶志對獄吏說：「門外有兩個食盒，裡面有用金缽盛的飯。你可以取來。」一會兒，齊文惠太子竟陵王子良，派人送來食盒。果然如他預料的那樣。再如他讓齊武帝看見了齊高帝在地獄中受盡錐刀煎熬的景象，武帝從此廢除了錐刀的刑罰。梁天監五年冬旱，未降一次雨。寶志上言道：「應當在華光殿講《勝鬘經》乞雨。」武帝便命僧人法雲講《勝鬘經》。當夜便下起了大雨。寶志又說：「應當放一盆水，再把刀放在上面。」一會兒，更大的雨從天而降。全國的旱情都得到了緩解。

安徽的皖山，也就是天柱山，景色奇絕，特別是山麓地帶景致更是美不勝收。寶志與白鶴道人都想前往居住。天監六年，二人告訴了武帝。武帝認為二人皆具靈通，就商議兩人各以物識其地，得者居之。道人說：「我以仙鶴止處為記號。」寶志說：「我以錫杖矗立處為記號。」不久，仙鶴先飛去，到了山麓將停飛時，突然聽到空中錫杖飛的聲音。寶志的錫杖遂立於山麓，而仙鶴因為受驚飛往了別處。道人無法食言。二人遂各以所識，在山上築室。

據說有一個叫陳征虜的人，全家盡心竭力供奉寶志，十分虔誠。寶志曾經為他顯露真形，光相如菩薩像。寶志知名顯奇四十多年，士女供事者不可勝數。天監十三年冬，寶志在後堂對人說：「菩薩將去。」過了幾日，他無疾而終。屍骸香軟，形貌喜悅。

隋朝時，禪宗三祖僧璨來到寶志建造的山谷寺修行，後來，此寺被稱為「三祖寺」。僧璨後在此傳四祖。後來僧璨在寺前大樹下「立化」而逝。現寺內僅存藏經樓、偏房數間，寺前有覺寂塔，塔高約三十米，為八角七層的樓閣式建築，唐天寶五年修建，明嘉靖時重修。三祖寺附近還有寶公洞、卓錫泉等勝跡。洞為寶志所居，泉為寶志所掘。

此後，在此修行的僧人比較知名的還有宋代的法演、慧勤、佛鑒，元朝的中峰禪師，明代的楚山禪師等。

天柱山上的寺廟除了三祖寺，還有蓮花峰峰下的馬祖庵，又稱佛光寺，始建於唐。此外，還有建於晉鹹和年間的太平塔旁的太平寺，香火也曾盛極一時。太平塔內供奉磚雕佛像近千尊，形象優美，神韻生動。

天柱山除了峭拔的天柱峰以外，還有飛采峰、天獅峰、蓮花峰、覆盆峰、觀音峰、黑虎峰等各具風采的險峰。在天柱諸峰中名列第二的飛來峰頂有一塊扁平、橫臥的巨石，周長約七十米，高約三米，直徑約二十米，邊緣有褶如帽，像是從天外飛來，人稱「飛來石」。其附近高達數百米的「雪崖瀑」十分壯觀。天獅峰的峰頂也有狀若獅子的「獅石」，它與覆盆峰間有一狹澗，上凌霄漢，下不見底。狀若蓮花的蓮花峰，奇石羅陳，狀物肖人。

天池峰頂的渡仙橋是天柱山又一奇觀。巨崖中開，中架二石，闊僅五米，下臨深谷，人走在其上，不免膽戰心驚，膽怯者望而止步。故此渡仙橋又稱「試心橋」。渡仙橋南有司元洞，洞中可容萬人。

飛來峰下的神秘谷被稱為「天柱一絕」。神秘谷長約五、六華裡，谷底由54個形態各異的洞穴組成，洞連洞，洞套洞。在暗洞中穿行，難辨東西，不知陰晴，但一出洞口，即見光明。

此外，天柱山麓的石牛古洞摩崖石刻，盤根錯節、神態各異的天柱松，交替出現的雲海、佛光、日出、曉霞、霧淞等自然風光，都使天柱山讓無數人折腰。

唐代大詩人李白曾寫了一著讚美天柱山風景奇秀的詩，名為《江上望皖公山》，詩曰：