根據南北朝時梁人任昉撰的《述藝記》中所載，盤古開天闢地死後，頭部化作了泰山。秦漢間有民間傳說：盤古死後，頭為東嶽，腹為中岳，左臂為南嶽，右臂為北嶽，足為西嶽……因此，泰山成為五嶽之首。

泰山古稱岱山，亦稱岱宗。《詩經》中有詩稱：「泰山巖巖，魯邦所瞻」。東漢應劭所著《風俗通義》中亦說：「東方泰山—尊曰岱宗。岱者長也，萬物之始，陰陽交代，……故為五嶽之長。」古人認為東方是萬物交替、初春發生的所在，所以認為泰山在五嶽中的地位特別重要，推尊為「五嶽之長」。

泰山一向被視為神仙居住的地方，也是修煉之人理想的修煉之地。據說由仙人山圖公子管理。這裡流傳的仙人故事不少，比如泰山老父、稷丘君、安期生、崔文子等。

晉代葛洪著的《神仙傳》記載了泰山老父的故事。漢武帝劉徹東巡狩獵時，看見一個老翁在路旁鋤地，頭上的白光有數尺之高。老人看上去五十多歲，但面色紅潤如童子，肌膚光滑有光澤，一看就不同凡俗。武帝覺的怪異，就上前詢問老人的道術。老人告訴武帝，他曾經遇見過一個得道之人，那個人教給他修煉之法。他依此修行，身體便開始向年輕方向轉變，頭髮也由白髮變成黑髮，掉了的牙齒又齊齊的長了出來了，身輕如燕，每天能行走三百里。現在他已經有一百八十歲了。這位老人就是泰山老父。老父後來進了泰山，每隔十年、五年，他都回鄉看看。等他三百多歲時，就再也沒人見到過他。

《列仙傳》記載稷丘君是泰山下的道士。漢武帝時，他因道術高明而受到賞賜。他頭髮白了能變黑，牙齒脫落了能再生。後來他辭別武帝回到泰山下。武帝東巡泰山時，稷丘君戴著緇布冠，穿著黃色道袍，抱著琴出迎武帝。他拜完武帝，手指點著泰山對武帝說：「陛下請不要上山，上山必傷腳趾。」武帝不聽，結果才上去幾里路，右腳趾就折傷了。武帝十分忌諱這件事，因此就只在山下祭祀了一番就回去了。這說明稷丘君有預見未來禍福的能力。後來武帝在泰山下為稷丘君建了寺廟，設稷奉祀他。

還有一個叫崔文子的也是泰山人，家裡世代都喜歡道家的修煉之術。文子住在泰山之下修煉，並配製丹藥，還建了一座石父祠。他把製出的藥拿到城市裡去賣，自稱已有三百歲。後來瘟疫流行，老百姓死亡數以萬計，郡縣長官到文子那裡請他拯救百姓。崔文子就手拿紅色的旗旛，去各家各戶巡視。吃了他的藥的人，病很快就痊癒了，被救活的人數以萬計。

《晉書》卷九十四《隱逸傳》記述了道士張忠修煉的故事。張忠是中山國人，為了躲避戰亂，他隱居在泰山修行，每日服用靈芝。後來前秦苻堅派人請他去長安做官，他辭謝回山，走到華山而逝，謚「安道先生」。

類似上述修煉成仙的故事，在史書上仍可以找到一些。

泰山何時建造宮觀廟宇，目前還無法確定。根據已有資料，泰山廟宇以岱岳廟建造最早。北魏酈道元《水經注》中介紹了該廟的情況。「泰山有下、中、上三廟，牆闕嚴整，廟中柏樹夾兩階，大二十餘圍，蓋漢武所植也。……門閣三重，樓榭四所，三層壇一所，高丈餘，廣八尺。樹前有大井，極香冷，異於凡水，不知何代所掘。……中廟去下廟五里，屋宇又嘗麗於下廟。廟東西夾澗。上廟在山頂，即封禪處也。」中廟後稱老君堂，成為唐代皇帝祭拜泰山神的地方。岱岳廟後稱東嶽觀，成為道教宮觀。

除了岱岳廟，泰山還有許多留有仙跡的宮觀所在，大多在唐宋時期建造。有青帝觀、王母池（古稱群玉庵）、升元觀、天書觀（即乾元觀）、斗母宮（古稱龍泉觀）、碧霞元君祠、玉帝觀、會真宮等。元明時期則建造了長春觀、三陽觀、酆都廟、萬仙樓、靈應宮等。清乾隆《泰安縣志》卷三詳細描述了這些宮觀的位置。明清時，除了東嶽廟、碧霞元君祠多次修葺外，其它都逐漸被廢棄。目前僅存東嶽廟、紅門宮、萬仙樓、斗母宮、碧霞元君祠、玉皇殿等處。其中的碧霞元君祠供奉的碧霞元君據稱就是泰山娘娘。

因為泰山是五嶽之首，也或許因為泰山是離仙人最近之處，因此中國古代帝王多在即位之初，或太平之歲，去泰山舉行封禪大典，祭告天地，祈福納祥。所謂封禪，就是在在泰山上築土成壇，在壇頂點燒柴禾，以祭天，此稱叫「封」。在泰山下面的小山(梁父)上選擇一塊地方(稱為折)瘞埋祭品，叫做「禪」。兩方面合而稱為「封禪」。中國古代皇帝相信自己是「受命於天」，因此向天祈告，一方面祈求神的保佑，另一方面也是感謝神保佑國家國家風調雨順、民生安樂。據說無懷氏、伏羲氏、神農氏、炎帝、黃帝、顓須、帝嚳、堯、舜、禹、湯、周成王都曾經去泰山封過禪。中國第一個統一王朝的皇帝秦始皇據說也曾去過泰山封禪，其在歸途中避雨的松樹，被稱做「五大夫松」。

有意思的是，泰山的中軸線與泰安城的建築空間渾然一體。具體來說，岱廟是泰安城中軸線上的主體，這條中軸線從泰安南門起，延伸到岱宗坊，然後與登山盤道相接而通向「天庭」，其順序完全按照登山祭祀活動的順序，似乎預示著由「人境」向「仙境」的過渡。

唐朝著名詩人杜甫有詩《望岳》贊曰：