嶗山古稱勞山、牢山、輔唐山、鰲山。山名的由來，大概與秦始皇登臨此山有關。宋代樂史著的《太平寰宇記》稱：「始皇登勞盛，望蓬萊，以勞於陟，即名勞；又以驅之不動，稱牢。」明顧炎武亦說：「秦皇登之，是必萬人除道，百官扈從，千人擁挽而後上也。……是必一郡供張，數縣儲待，四民廢業，千里驛騷而後上也。於是齊人苦之，而名曰勞山也。」唐玄宗時期，特敕許王到嶗山煉長生之藥，並將嶗山更名為「輔唐山」。到了元代，全真派真人邱處機見此山形似巨鰲，便易其名為「鰲山」，有詩云：「牢山本即是鰲山，大海中心不可攀。上帝欲令修道果，故移仙蹤近人間。」清代才正式定名為嶗山。

嶗山自古就被譽為「海上仙山」，「神仙之宅，靈異之府」。《史記》記載，春秋戰國時期，有一個仙人名叫安期生，在琅琊郡海邊以賣藥為生，據說他吃的棗子大的象瓜。他後來得道成仙，活了上千年，被稱為「千歲翁」。秦始皇東巡琅琊時，曾經召見過安期生，密談了三天三宿。安期生離開時，給秦始皇留言，「千年之後，求我於蓬萊山下。」後來，秦始皇為了尋找神仙安期生和長生不老之藥，曾派方士徐福率人在此登船入海，沒有返回。

西漢武帝時，武帝親自到此祭祀，希望可以遇見仙人。如此通靈寶地，自是許多修煉人進行修煉的佳所。從秦漢以來，就有修道之人在此修行，比如西漢的張廉夫，唐時的許王，宋代的樂正子長、劉若拙、甄棲真等。根據明黃宗昌《嶗山志》卷五記載，樂正子長，不知是哪裡的人；曾經在嶗山遇到神仙，神仙向他傳授了巨勝赤散方，他服用後，年齡過了一百八十歲，面色還像兒童一般。後入嶗山深處，不知所終，大概是羽化成仙了。乾隆《山東通志》卷三十載，甄犧真，單州單父人。因為舉進士不第，所以來到嶗山訪道，後來正式修行，容顏也逐漸發生了改變。

金、元代是嶗山道教的興盛時期，先後有大批道士來此山修道。最著名的道士是全真道北七真之一的邱處機。此外還有李志明、劉志堅、王嘉、孫不二等。李志明，全真道士，居住在上清宮十二年和明霞洞（嶗山南部崑崙山腰）二十五年。據說他年八十，步履仍然輕健。有弟子近五百人，後不知所終。王嘉祿，新城人，年少時進入嶗山修行，遇見道士傳授給他五禽之術，修煉時間久了，他就不吃食物了，有時吃松柏葉。明清時期，嶗山道教繼續發展，相繼又有一批道士居此修道，比如徐復陽、張三豐、李守真等。《嶗山志》卷五記載，徐復陽，號太和子，曾經得到李靈仙的秘傳，後隱居在鶴山遇真庵，修煉成仙。張三豐，從青州來嶗山居住了一段時間，留有張仙塔、邋遢石等遺跡。李守真，滕縣人，少游牢山，遇異人授以修煉術，後修煉成仙。

眾多得道之人在此修煉，自然留有許多仙跡，主要體現在宮觀上。嶗山上最早修建的宮觀是西漢時建的太清宮。宋太祖建隆元年下詔重修太清宮，永為修真之所。宋時又修建了大批宮觀，如上清宮、太平宮、百福庵、石佛庵等。元代嶗山又增建了一批宮觀，如迎真觀、通真宮、華樓宮、黃石宮、眾仙宮、遇真庵、聖水庵等。明清時期，嶗山除對舊有宮觀作過修葺外，未新建宮觀。現存清宮、上清宮、太平宮、華樓宮等。此外，在太清宮以北，還有華嚴寺、魚鼓石、那羅延窟、八仙石、棋盤石、明道觀等仙家遺跡。華樓宮以東有八仙過海時聚會的「聚仙台」等。

古人認為嶗山「三圍大海，背負平川，巨石巍峨，群峰峭拔，真洞天福地、一方之勝境也」。李白有詩《寄王屋山人孟大融》，開篇即記述了在嶗山遇仙之事。