宋淳熙《三山志》記載：「太姥山，舊名才山。《力牧錄》云：容成先生常棲之，今中峰下有石井、石鼎、石臼、石杵尚寸。」容成子是黃帝時的大臣，曾在此修煉過。到了堯帝時，有老母在此以種蘭為業，她為人樂善好施。因家在路旁，對於往來行人不吝給予。一天，一個道士路經她的房屋乞要一碗米湯，老母端給了他。道士隨後傳授給她九轉丹砂之法。老母服下後，在七月七日那天得道成仙。人們相傳呼為「太母」，並將此山稱作「太母山」。春秋戰國時期，此山曾被越國封為東嶽。西漢武帝時，令大臣東方朔敕封下天名山。當東方朔游至太母山，感覺猶如走入了仙境，並讚歎道：「山增海闊，海添山雄，山海相成，渾為一體，實乃生平所首見耳！」於是稟明武帝，將其封為全國三十六名山之首，並改太母山為「太姥山」。據說摩霄峰下摩霄庵（今名白雲寺）右邊石壁上鐫刻的「天下第一山」五個大字，即是東方朔所題。

作為仙山的太姥山，自古就不乏修煉者在此修煉。除了黃帝時的容成子，堯帝時的老母外，還有眾多的修煉者在此修行，只是見諸史籍的並不多見。比較有名的如唐朝的智饒、明朝的慧明，清代的行智、秀懷、智水等。

唐宋時，佛教在太姥山上的發展十分興盛，共建有三十六座寺院，規模較大的有國興、瑞雲、靈峰、芭蕉、天王、白雲等寺，故有「東天佛國」之稱。國興寺，唐乾符四年（公元877年）建造，南宋淳祐年間毀於大火，今遺址上尚存石柱三百六十根，寺前有楞枷寶塔和石池。瑞雲寺始建於五代後晉天福元年（公元936年），殿宇寬敞，結構別緻，採用園林式結構。寺內古物眾多，藏經萬卷。寺旁有一株古樹，人手一觸，樹葉皆被顫動，當地稱為「感觸樹」，亦一奇樹。靈峰寺在冷城西側的翠薇峰下，始建於唐鹹通遠年（公元860年），宋時稱「蘭溪寺」，又名「小靈峰」。寺內有大雄寶殿、藏經樓、念佛堂、齋堂、花圃等建築。

古人有詩贊之：「太姥無俗石，個個皆神工，隨人意所識，萬象在胸中。」 太姥山上的四絕之一的「石奇」可從白雲寺景區的「仙女獻花」、「彌勒袒腹」、「仙翁對弈」、「金鐘掛壁」，天門寺景區的「韋陀把天門」、「觀音坐蓮花」等一窺端倪。而「方橫斷壁千層險」則要去摩霄峰、新月峰、筆架峰、蓮花峰、天柱峰等才可以體會的到。

太姥山的巖洞亦是別具特色。比較著名的有葫蘆洞、將軍洞，一線天、滴水洞、七星洞、一片瓦、犀牛洞、白馬洞、鴻雪洞、蝙蝠洞、福成洞、韋陀洞、蓮花洞、龍潭洞等，每一個洞都各具特點，都有一段美麗的傳說，令人稱奇。比如葫蘆洞形似葫蘆，洞室寬大，可容千人，有「世外桃源」之譽。鴻雪洞長800米，洞中有井，傳說系容成子煉丹時的丹井。而關於一線天的由來，還有一個傳說。相傳太姥娘娘命白猴在煉丹井旁看守出爐的仙丹，由於多日勞累，在仙丹出爐時，白猴竟然昏睡過去。這時，好吃懶做而又想成仙的金老鼠，乘機偷拿了一粒仙丹。但是逃跑時它驚動了白猴，白猴抓起神斧追趕金老鼠。金老鼠一下子鑽進了一塊巨石下的小洞裡。白猴非常生氣，就揮動神斧，在巨大的頑石上裂開了一條狹窄深長的石縫這就是「一線天」。

此外，由於大自然的造化，太姥山一年裡，竟有100多天雲霧，尤其是春夏之交或雨後初晴之時。此時的太姥山一切景致都若隱若現，宛如仙境。

太姥山的仙跡聖景還不僅限於此。山西麓的「九鯉溪瀑」遊覽區多溪澗，有小玉女峰、「迎仙船」、「仙童望日」、「觀音坐蓮」等美景。在太姥山東麓還有座冷城古堡，系一山間村寨，自明嘉靖年間起，成為抵抗倭寇的城堡。

唐朝太子太傅薛令之曾作 《太姥山》一詩，讚美了：