《神仙傳》記載，遠古時期一位叫廣成子的仙人居在崆峒山的一個石室裡。當時的軒轅黃帝聽說了廣成子的仙跡，就專程去造訪他，並問他：什麼是修道的要訣。已經活了一千二百歲的廣成子說：「在你所治理的天下，不到遷徙的季節候鳥就飛走了，秋天未到，草木就凋落了，你說我能和你談道嗎？」黃帝慚愧的退出了。回去後，他不理朝政，閒居了三個月，然後又去拜見廣成子。這回，他知道真道之難得，跪著來到廣成子面前，再次叩拜，求問治身之道。廣成子回答說：「至道之精，杳杳冥冥，無視無聽。抱神以靜，形將自正。必淨必清，無勞爾形，無搖爾精，乃可長生。慎內閉外，多知為敗。我守其一，以處其和，所以活了一千二百歲，沒有一點衰老的跡象。得我道法的人可以成為一國之君，得不到我道法的人只能是世俗之輩。我的道會將你引入無窮之門，暢遊於無極之野，與日月同輝，與天地共存。世人都死去時，僅有我，依然長存於天地之間。」黃帝聽了後，恍然明白了真道，從此走上了修煉之路。因了這段故事，後來道教尊崆峒山為「天下道教第一山」。

廣成子之後，有容成公和赤松子在崆峒山修煉。容成公，據說是黃帝的老師，後來在周穆王時期再次出現。他的頭髮白了能變黑，牙齒脫落了可長出新牙。他很早就已經得道，可以在天地間遨遊。赤松子，是神農帝時期掌管雨的官。他常常去崑崙山上，在西王母的石室裡修行，並可以隨風雨自由上下。神農帝的小女兒跟隨他學道，也成了神仙，後來他和赤松子一起飛升。周時還有長桑子的徒弟韋震也在此修煉。

秦漢時期，黃老道盛行，在崆峒山上修煉的人也並不少見，但載於史籍的很少。當年的秦始皇和漢武帝因仰慕仙人，便倣傚黃帝，也曾來到崆峒山訪仙。史載，秦始皇來到崆峒山下後，因山高路險，只得放棄登山回轉。而後來的漢武帝則在公元前112年5月登上了崆峒山。

魏晉時期，崆峒山道教開始興盛，唐宋元時期走向繁榮，在此修行的知名道士有唐代的鐘離權、伍符，宋代的陳宗秀，元代的姜公等。《列仙全傳》和《東遊記》記載，鐘離權為八仙之一，相傳他是天界的仙人，因有過錯而被貶到凡間。他曾為將軍，後與兄長鐘離簡在華山三峰尋道，遇上仙人王玄甫，又遇華陽真人，傳以太極刀法，火符內丹。此後，鐘離權一人出外雲遊，一天他在崆峒山紫金四皓峰歇息。忽然石壁猛響一聲，門戶大開。鐘離權直入其中，見一玉匣，打開一看，是神仙秘訣。鐘離權將秘訣放入懷中。當他一走出山洞，其石復合如初。他在紫金四皓峰住了數日後，又回到華山，按照神仙秘訣所說的勤於修行。又過了一段時間，一天，忽見五色祥雲佈滿屋子，仙樂陣陣，有仙鶴呼叫他說：「玉帝有命，我來迎你回天宮，恢復你的舊職。」鐘離權飛升前將神仙秘訣授給了鐘離簡，隨後乘上祥雲仙去。

明朝著名道士張三豐亦曾在崆峒山上修行5年，還顯露了仙跡。明末清初，崆峒山道教走向衰落，雖有道士在此修煉，但知名的比較少。

大概在秦漢時期，崆峒山上就開始修建宮觀。唐宋元時期，擴建並建造了一批宮觀，如唐時建造的軒轅宮、問道官等，宋時建真武殿。期間因為戰火和災害而大部分損毀。明代萬歷時期修建了八台、九宮、十二院等建築。八台指東台、西台、南台、北台、中台、天台、靈龜台、八仙台；九宮指紫霄宮、飛升宮、五龍宮、遇真宮、老營宮、太和宮、王母宮、靜慶宮、詢道宮。不過，現僅存宮觀十五處。太和宮是崆峒山最大的道觀，主要殿堂有真武殿、玉皇殿、老君殿、三官殿、太白殿、祖師殿、藥王殿七座。其中老君殿是供奉老子的地方，分為上下兩層，上層供奉有太上老君坐像，兩側牆壁上是明朝嘉靖年間彩繪「太上老君八十一化圖」，再現了老子的不同化身。

佛教在東漢時期傳入中國後，大約在唐初在崆峒山上也開始了發展。唐貞觀年間，仁智法師在崆峒山開闢叢林，鑿通了通往最高峰的唯一通道「上天梯」，唐太宗御賜創建了明慧禪院，也稱「滹陀寺」。仁智法師被稱為崆峒開山祖師。在此修煉的著名僧人還有宋代的法淳、元代的槊裡吉查思揭兀、明代的補巖、亮旭等。此外，唐、宋時期兩度修建「法輪寺」，該寺是當時最為有名的寺廟之一。元代修建了「寶慶寺」等。

既然佛、道兩家的修煉人都曾在崆峒山上修行過，那山上的仙跡，除了寺廟宮觀外，自然還有許多。比如二郎石、老君煉丹台、藥王洞、玄鶴洞、青龍洞、仙人峰、雷聲峰、老君峰、捨身崖等。

二郎石在崆峒山後峽四溝口上山路對面的胭脂河谷中。這是兩塊巨大的方形、青褐色石塊，每個石塊約有百多噸重，高寬各為4米。河水流經兩石，別有一番景致。令人稱奇的是，兩塊巨石相對處，均有一個洞孔。傳說當年黃帝到崆峒山向廣成子問道，大臣們便在山下挖石取土，好堆砌成山，迎接黃帝下山。仙界中的二郎神正好路過此地，也加入到了築山隊伍中。因為二郎神力大無比，所以山築的非常快。玉皇大帝看見了，就說：「豈能高過崆峒山！」他因此下令停止築山。神喻傳達時，二郎神正從大象山取下兩塊方形巨石，並在石上打好眼準備挑上山去，聽到玉皇的命令後，他便將兩塊巨石放置在河谷中。這就是二郎石的來歷。

東台懸崖絕壁上的玄鶴洞，懸在半空。相傳洞裡曾有一隻玄鶴，本是廣成子座前的仙童，因觸犯清規，被廣成子變為玄鶴，打入石洞。

明代文人杜陳講有詩名為《崆峒》，描繪了崆峒的優美山色和雄偉景致，詩曰：