青城山在歷史上有諸多的稱謂。先秦時期稱為「清城都」、「丈人山」，秦時稱作「瀆山」，兩漢和三國時稱為「汶山」或「天谷山」，兩晉、隋唐直至開元十八年前稱為「清城山」，後稱「青城山」。關於「丈人山」的稱謂，還有一個與仙人有關的故事，載於宋朝張君房所著《雲笈七簽》卷七十九。黃帝時期，黃帝因與北方的蚩尤作戰時總是不能取勝，便來到青城山向仙人寧封討教。寧封教黃帝以龍趼飛行之術。後來，黃帝戰勝了蚩尤，統一了華夏民族。為了表達對仙人寧封的感謝，黃帝封寧封為五嶽丈人，其所居住的青城山亦被稱作「丈人山」。如今青城山上的訪寧橋和龍隱峽棧道就是此一傳說的遺跡。

那麼為什麼叫做「青城山」呢？一種說法是說青城山林木蔥鬱，好像一座綠色的城郭，故名「青城山」。另一種說法是說「青城山」原名「清城山」，青字有偏旁三點水。這是因為古人認為「清都、紫微，是天帝所居的地方」，也就是神仙居住之處，所以名為「清城山」。唐時清城山上發生了佛道間地盤之爭，後唐玄宗下詔「觀還道家，寺依山外」。詔書中將清城山的「清」字寫成了沒有水旁的「青」字，自此「清城山」更名為「青城山」。關於這一事件，可見仍保存完好的唐碑詔書。

既然青城山是仙都，那當然少不了仙人。在此修煉成仙之人，亦是歷代不絕。

據葛洪《神仙傳》所載，東漢時的張陵先在四川鶴鳴山隱居修行，後遇太上老君傳道而得道。鶴鳴山與青城山相連，張陵便來到青城山傳道，期間曾去嵩山，最後羽化成仙，被封為張天師。張陵之後，從漢末至南北朝，來到青城山修道的有李阿、陳勳、范長生、楊超遠等人。

葛洪《神仙傳》載，四川人李阿，據說活了很長時間，但也不見衰老。在吳孫權當政時期，他常常在成都市的街頭行乞，一旦討得東西，就馬上散賜給貧者。他每天晚上離開成都，早上回來，人們不知他到底住在何方。如果想問李阿什麼事，李阿從不正面回答，但只要仔細察看他的表情就會知道答案。如果李阿的臉上有喜色，那麼問的事一定是吉利的；如果李阿面容悲慼淒慘，那麼問的事就一定凶險；如果李阿面含微笑，就一定是大喜之事；如果李阿有輕輕的歎息，那麼一定有讓人深憂的地方。人們就這樣向李阿問事的吉凶，屢試不爽。一個叫古強的人，覺得李阿肯定不是凡人，就經常照顧李阿，並跟隨李阿回家，這才知道李阿住在青城山裡。古強十八歲時，看見李阿也就五十來歲，到古強八十多歲時，李阿仍然是五十歲的樣子，一點也沒變。後來李阿說崑崙山的神仙召他馬上就去，於是李阿進了崑崙山，從此再也沒有回來。

繼李阿之後又有陳勳入青城山修煉得道。漢時陰長生跟隨仙人馬明生在武當山修煉，後在青城山得道，後亦成仙。到了晉代，青城山最著名的道士為范長生，後在此羽化成仙。隋朝趙昱與兄弟趙冕都隱居在青城山，跟隨道士李玨修煉。隋煬帝知其賢德，徵召他出仕。趙昱推辭不掉，只得任嘉州太守。在任期間，他曾經入水中斬殺蛟龍，人們都認為他是神人。隋末亂世之際，趙昱再次隱去，不知所終。唐朝道士王柯、薛昌、劉無名等皆在青城山修道。值得一提的是唐末五代時的修煉人杜光庭，他在青城山白雲溪修煉多年，同時還著有《神仙感遇傳》五卷，《墉城集仙錄》六卷，《洞天福地岳瀆名山記》一卷等多部著作，為後世留下了中國古代神仙及修煉故事等珍貴資料。宋時期比較知名的修道人有皇甫士安、古藏用、張隨、徐無極等，皆有靈跡。元明時期，在青城山修道之人見於記載的比較少。明末清初，由於戰亂，青城山的道士大多逃離。後來又有武當山的道士來到青城山修行，比較有名的是陳清覺。

早期的山居道士，大多穴居山洞，或者在洞旁結茅舍，「置以土壇，戴以草屋」。到了晉代，青城山始建宮觀，計有洞天觀、上清宮、上皇觀、碧落觀（後名長生宮）等。現在的上清宮正殿老君殿供有太上老君、純陽祖師及張三豐塑像。老君殿基寬四百平方米，共六層。下方上圓，寓意天圓地方；層有八角，以示八卦；外觀呈塔形，頂接三圓寶，以昭天地人三才之意。其左配殿供奉的是孔子和關羽，在殿的左下方有麻姑池，池水一年四季都不乾涸，據說是仙人麻姑浴丹的地方。宮後不遠，就是青城第一峰彭祖峰，上有呼應亭，登高一呼，眾山皆應。

隋唐兩宋時期，青城山新建有大批宮觀。隋代建有常道觀等，唐代建有建福宮、金華宮、沖妙觀、玄都觀、福唐觀等。常道觀又名天師洞，據說當年張陵就在此「結茅傳道」。觀內還有黃帝祠和三皇殿，殿內供奉著伏羲、神農、黃帝。觀後的混元頂上有一個洞穴，相傳是張陵曾經修煉的所在，俗稱天師洞。天師洞東有三島石，巨石矗立，上有兩條裂隙，故名。民間傳說，張天師降魔時，見此石擋路，遂拔劍劈之，裂成三塊，石上還刻有「降魔」兩字。天師洞西側有擲筆槽，這是個六十多米深的幽谷，民間傳說是張天師降魔時，作符擲筆而成的。《五嶽真形圖》云：「山傍有誓石，天師張道陵與鬼兵為誓，硃筆畫山，青崖中絕。今驗斷處，石並丹色，闊二十餘丈，深六七丈，望之赩然。」據清徐昱所著《青城山金華宮記》，金華宮原是就晉代所置之上皇觀（一名玄真觀）改建而成，唐睿宗女玉真、金華公主居此修道。元明時期，除明萬曆年間重建圓明宮、上元宮外，過去已建的宮觀，在明代大都缺乏維修。清時陸續重建、修繕了常道觀、長生觀、祖師殿（又名洞天觀）、上清宮、建福宮等。其中建福宮中楹柱上懸垂的長達394字的長聯，為青城一絕。祖師殿供奉的是真武大帝和張三豐。殿內有浴丹井、讀書台等古跡。浴丹井是唐天寶七年(748年)，道人薛昌居煉丹留下的遺跡。

唐朝李舜弦在《隨駕游青城》一詩中這樣讚美青城山：

因隨八馬上仙山，
頓隔塵埃物象閒。
只恐西追王母宴，
卻憂難得到人間。