關於王屋山山名的由來，主要有兩種說法。《道藏》中說它「山中有洞，深不可入，洞中如王者之宮，故名曰王屋也」。中國早期的地理志《禹貢》記載：「山有三重，其狀如屋，故名」。在主峰的峰頂有座石壇，據說是軒轅黃帝祭天之所。當時黃帝與蚩尤打仗，一直無法戰勝，於是「黃帝於此告天，遂感九天玄女、西王母降授《九鼎神丹經》《陰符策》，遂乃克伏蚩尤之黨，自此天壇之始也」，故又稱天壇山。

王屋山很早就成為修煉人的修行之地，並被後來出現的道教列為十大洞天之首，三十六小洞天之總首，由仙人王褒（字子登）掌管，是「五嶽、四瀆、十大洞天、三十六小洞天神仙朝會之所」。 「每年諸元會日，靈山、真聖皆朝會於此，考校學仙之人及世間善惡，記錄在案。」所謂洞天，乃是「山中有洞，貫通諸山，直達上天」，是道教對大地名山神仙所居洞府聖境的總稱，也是上天特派真仙直接掌管的聖地。

周太子王子晉，曾隱居王屋山華蓋山悟道，號稱華蓋君；列子雲遊王屋山撰寫了《愚公移山》，道教尊列子為「中虛真人」。西漢范陽人王褒，入王屋山修煉，後得道成仙，「總管王屋山洞群真」。王屋山始稱小有清虛之天。根據梁陶弘景撰寫的《真誥》卷五，漢時在此修煉並成仙的還有毛伯道、劉道恭、謝稚堅和張兆期。他們一起在王屋山學道四十餘年，共同製成了神丹。毛伯道先服下了仙藥，然後就死了；劉道恭服下後也死了，謝稚堅、張兆期見此情況，害怕不敢服用，並離山而歸。在路上，他們見到了死去的兩人，已然成仙。二人悲愕，才知道錯過了成仙的機會，遂向他們求道，已成仙的兩人給了他們茯苓方，謝、張服用後都活了數百歲。

河上公慕老子之道，也隱居在王屋山修煉。當時的漢文帝對老子的《道德經》推崇備至，不僅自己熟讀它，還要求王公大臣們都要誦讀。但是他仍有些地方難以弄明白，因此他常常派人四處尋訪，希望遇到指點迷津的人。後來，文帝聽人們說河上公精通《道德經》的精髓，就派人前去拜訪，請教自己不明白的地方。河上公對文帝派的使者說：「道尊德貴，這麼嚴肅的事情怎麼能通過別人來代問呢？」於是文帝駕臨河上公的草廬，親自向河上公請教。儘管如此，文帝仍心有不甘，就對河上公說： 「《詩經》上講過，普天之下，莫非王土；率土之濱，莫非王臣。老子也說過：『道大、天大、地大、王亦大。』君王屬於這『四大』之一。你即使有道行，可還不是我的子民嗎？為何這麼自高自大，將君王不放在眼裡呢？」河上公聽完文帝的質問，就拍著掌坐著，冉冉升空，穩穩的懸在空中，離地有數丈之高。河上公俯身向仰視他的漢文帝說：「我上不著天下不著地，中又不為人所累，怎麼能算是你的臣民呢？」聽罷河上公的話，文帝心知已遇到高人，馬上下車向河上公跪拜企求給予指點。河上公見文帝一片誠心，就將兩卷經書授與文帝，並對文帝說：「熟研這兩卷經書，你所有的疑問都會迎刃而解。這兩卷批注道經的著作，只傳了三個人，你現在是第四個，切記，萬不可顯示與他人。」說罷，河上公就在原地消失了。文帝心曉今日遇見了神人，異常珍惜這兩卷經書，從此更是手不釋卷，精心鑽研《道德經》。

此外，東漢的干吉、魏伯陽等也曾在王屋山上修煉，《神仙世界》載：「干吉經常在太行山南曲陽泉上周遊，漢成帝河平二年，老子親授他一部百卷的神書，寫在月白色的絹帛上。」這就是道教所傳的《太平經》。

西晉時，在此修行比較有名的是魏華存。她隱居在王屋山上修煉四十年，後成仙。成仙時，是龜山九虛太真金母、金闕聖君、南極元君共迎其白日昇天。後道教尊其為上清派第一代宗師，南嶽夫人，紫虛元君。東晉葛洪也曾在此修煉了一段時間，並寫下了《抱樸子》一書，書中稱王屋山「正神在其中」、「上皆生芝草，可以避大兵大難」、「有道者登之，則山神必助之」。 南北朝時梁之茅山道第一代宗師陶弘景，一生遊遍名山，在其所著的《真誥》中稱「王屋山仙之別天，所謂陽台是也。諸始道者皆諧陽台。陽台是清虛之宮也，下生泡濟之水，水中有石粒，得而服之可以長生。」

唐代是王屋山道教的興盛時期，有一大批道士居此修道。主要有司馬承禎、李含光、張探玄、柳默然、燕真人、王子登、孫思邈、薛希昌、王重陽、宋德方、完顏得明、元好問、李商隱等。根據《唐王屋山中巖台正一先生碑碣》載，司馬承禎二十一歲時，在嵩山拜潘師正為師，大約在武周時去天台山，居住在天台桐柏觀；開元十二年（724年），玄宗下詔讓其在王屋山居住，後在此羽化成仙。其弟子李含光，開元十七年跟從司馬承禎居住在王屋山，後在茅山坐化。燕真人，不知道他真正的姓名。他是王屋裡人，居住在陽台觀之側。後晉天福（936∼942年）間，他得煙霞養道之訣。據說在其住宅邊的井中還得到靈異之參，全家吃了後皆成仙，「一人得道，雞犬升天」的典故就出於此。

五代時，名道譚峭在此修煉。史書記載，譚峭視世間之樂，不如拋棄的爛磚，常以酒為樂，人稱「醉客」。他一生雲遊了很多地方，「常夏披棉襖，冬著布衫，或臥於雪地，或躺於雨中，人以為死，近而視之，呼吸如故」，故人稱「譚瘋子」。宋和金元時期，王屋山道教繼續發展，在此修煉的道士有宋代的賀蘭棲真，金元時的王志祐、張志謹、申志貞、劉道清等。賀蘭棲真，《宋史》說「不知何許人」，《賜賀蘭棲真敕書並贈詩序碑》則多增補，謂其是譙國人。最開始在驪山白鹿觀拜馮洞元為師，馮洞元仙世後，來到終南山修煉。後居住在嵩山紫虛觀，再後來，來到了王屋山奉仙觀，在此仙化。張志謹，字伯恭，號寧神子。他曾經商，後辭親學道，拜邱處機為師。雲遊各地二十年後，來到王屋山隱居修行。到了明清時期，比較有名的道士如明末清初的王常月。

歷史上，先後有漢武帝、漢獻帝、唐玄宗、宋徽宗等27個帝王來王屋登頂祭天。明代時，皇帝朱棣在北京建天壇，以示從王屋山遷去，天壇峰就成了北京天壇公園的前身。

王屋山在隋唐建有大批宮觀，主要有上方院、奉仙觀、陽台觀、紫微宮、白雲道院、靈都觀、清虛觀、青羅仙人觀、三清殿、山神廟、太山廟等，傳說軒轅黃帝曾於此處訪尋四山，故原稱上訪院；唐睿宗時改名為「上方院」，是仙人司馬承禎初來王屋時居住的地方，金末重修。紫薇宮，據說太宗李世民的叔父李道宗曾在此隱居。奉仙觀，宋道士賀蘭棲真居住在此。靈都觀，是唐玄宗為玉真公主（睿宗之女）所建，金時升觀為宮。三清殿供奉元始天尊、靈寶天尊、道德天尊，清虛觀供奉清虛大帝。此時的宮觀建築分體現了道教三十六重天的學說。宋代，除原有宮觀外，又重新修建了紫微宮，供奉紫微大帝，門內的天王殿上書「天下第一洞天」。金元時期，對王屋山原有宮觀進行重修，又增建有若干宮觀，如陽台宮等。至明代中期，王屋山主要道觀尚大致完好。明中後期，道教衰落，大部分宮觀廢棄。迄今僅存陽台宮、奉仙觀等。據說在陽台宮的石階上擊掌，就會聽到鳥叫聲，當地人說這是「鳳凰鳴」。傳說是因為該宮建在了鳳尾根部。如果登高遠望，的確會發現，陽台宮後面的天壇峰狀似鳳首，對天而鳴。宮前的九條大山嶺，自北向南以扇面形展開，狀如風尾。附近的幾座小山嶺好像鳳肩、鳳背、鳳腰、鳳翅和鳳心。當地人把這種奇異的地形叫做「丹鳳朝陽」。

除了宮觀之外，王屋山上還可找到許多仙跡，如上天梯、南天門、瑤池、煉丹處（是老子在洛陽棄官後來此修煉三年留下的遺跡）、瓊林台、仙人台、棲鶴台等。

唐朝李商隱有詩《玉山》讚美王屋山的仙家之氣：