俗話說：「山不在高，有仙則名」。《河南府志》載：「緱山，在縣南(指偃師老城)40里，孤峰突出，周靈王太子晉升仙於此。」《山拇助》云：「緱山之山，無草木，多金玉泉水出焉，上有飲鶴池。」雖然緱氏山海拔僅有308米，但在漫長的歷史長河中，它的出名確是因了兩位神仙的緣故。一位就是大名鼎鼎的西王母，據說她曾在緱山修道。因為她姓緱，故該山名緱氏山，後簡稱緱山。另一位是是周靈王的太子晉，又稱王子喬、王子晉。

《列仙傳》記載，王子喬是周靈王的太子。他愛好吹笙，喜歡吹鳳凰鳴叫的聲音。有一次，他在河南的伊水和洛水漫遊時，遇見仙人浮丘公，他就跟仙人上了嵩山。在嵩山，他一住就是三十多年。後來，家人桓良終於在山裡找到了他。他對桓良說：「請轉告我的家人，七月七日那天在緱氏山上等我。」到了七月七日那天，人們來到緱氏山上，果然看見王子喬騎著一隻白鶴停在山頭。他只是遠遠的看著人們，並不靠近大家。他舉手向人們致謝意。幾天後，他才騎鶴飛走。後人為了紀念他，在緱氏山和嵩山為他立了祠廟。因此，緱氏山在道家天下72福地中，被列在第60位。

春秋時代，太子升仙的這個地方叫做緱氏邑，山名還是叫緱氏山。因為周朝的王族曾被封在此地，並以「緱」作為姓，便逐漸形成了緱氏家族。唐朝武則天曾在此立碑建廟，紀念王子喬。唐時著名僧人玄奘就出生在這裡。

唐之前的緱氏山還是很繁榮的，有僧、道在此修行，不過見諸史籍的很少。在鼎盛時期，山上建築恢宏，寺廟觀庵同九華、普陀、五台、峨眉四山相仿。比較著名的有紀念度王子喬升仙的浮丘公的浮丘廟和浮丘洞。

唐代大詩人李白曾作《鳳吹笙曲》一首，描寫王子喬的神仙生涯：