清源山又名北山、泉山、齊雲山。因為山上多清泉，故名「泉山」；又因為山位於泉州城北，因此簡稱為「北山」。大概是由於峰巒之間常有雲霞繚繞，故有「齊雲山」的別稱。至於清源山的得名，與仙人鐵拐李頗有淵源。傳說當年鐵拐李雲遊至此，為此山景色吸引，不禁用鐵拐捅地讚歎，不料因為用力過猛，鐵拐戳進了山石中，撥出後泉水湧出，從此人們就稱該山為「清源山」了。

根據清乾隆時期編撰的《泉州府志·方外》記載，早在秦漢時期，就有人在清源山上隱居修行，如秦時的一個叫大道的人，就在清源山上的芭蕉洞中修行，後人因此稱此地為「大道巖」。唐和五代時期，道教興盛，一些道士在清源山上修行，比較有名的是五代的譚峭，他早年雲遊天下，晚年在清源山紫澤洞修行，後得道成仙。宋時有「頭戴通草花，行歌於市」的裴道人和林道人在清源山修行。

早在西晉時期，清源山上就開始建有道觀，以後歷朝，特別是唐宋都有所增建，如老君巖上的北斗殿、真君殿、元元洞等，南台巖上的三清宮等。此外，東晉時佛教興起，清源山上還建有寺廟，如千手巖上的千手巖寺，彌陀巖上的彌陀室。千手巖寺內有千手千眼觀音士塑像，故名千手巖，也叫觀音巖。

清源山除了諸多的廟宇道觀外，還有大型石雕七處九尊，而且以三十六洞天、十八勝景著稱，內中留有許多仙跡。比較著名的地方有老君巖、千手巖、彌陀巖、碧霄巖、瑞像巖、虎乳泉、南台巖、清源洞、賜恩巖、龜巖、九日山、靈山聖墓等。

位於清源山右峰羅山與武山下的老君巖，又稱羽仙巖，因為其上有巖刻巨型老君（老子）造像而得名。據《泉州府志》記載：「石像天成，好事者略施雕琢。」石像雕於宋代，高5.1米，寬7.3米，厚7.2米。只見他端坐崖上，右手按膝，左手憑幾，兩眼平視，雙耳垂肩，神態安詳，笑容可掬。他是現存最大、年代最久的道家石雕造像。

千手巖位於清源山右峰下，在清源山正山門以北。千手巖後有弘一法師捨利塔。法師俗名李叔同，後在浙江杭州虎跑定慧寺出家。

從千手巖往上，就是彌陀巖。這裡是清源山風景最佳處。有「泉窟觀」「一嘯台」、「岫雲」、「招飲徑」、「天風海月」、「一線天」等勝景。

離彌陀巖不遠，就是碧霄巖。上有元代藏傳佛教（喇嘛教）「三世佛」造像。佛像高3米，寬6.5米。「三世佛」有圓形頭光及身光，他們並排結跏坐在蓮花座上，中尊為釋迦像，又稱現在佛，主掌現在的世界，其造像作觸地印之魔相，一手向下撫地，一手向上。左尊稱為藥師佛，即過去佛，主管過去的世界。他也是一手向下，一手向上，只是左掌托缽。右尊叫彌陀佛，是未來佛，作施定印之禪定相，即雙手交疊置於腹部。

此外，碧霄巖沿途有「小憩亭」、「五雲深處」、「小雲關」、「紫澤宮遺址」、「練膽石」、「虎乳泉」、「白龍井」等許多勝跡。虎乳泉又名孔泉，因為泉水從石隙中湧出，注入一尺許見方的石孔中，味道甘甜似乳。相傳古代有一母虎在此哺育幼虎，因乳汁不足，只好以泉代乳而養活幼仔，故而得名。

南台巖系一巨岩，在清源山右峰的最高處，它巍然聳立。巖台上建有寺廟，如臨空中，恍如仙境。

瑞像巖在清源山左峰的天柱峰下，這裡有刻於北宋元祐二年（公元1087年）的釋迦石像一尊，相傳佛像雕成時夜放瑞光，故名瑞像巖。佛像高4米，寬1.5米，立狀，左臂下垂，掌心向外，右臂袒露作無畏手印。巖下奇石突兀，排列如群僧參禪，稱為「羅漢峰」，俗稱「十八羅漢朝釋迦」。天柱峰周圍還有獅子峰、回舶峰、蓮花峰等，景色秀美。

清源洞位於清源山中峰的頂端，又名「純陽洞」、「蛻仙巖」。傳說宋時的裴道人在此羽化成仙，是故洞前有裴仙祠。

宋文人王十朋作詩《詠清源山》，詩云：