羅浮山自古就是一座仙山，至今還流傳著許多神仙的故事。

根據《列仙傳》和《神仙傳》所載，周靈王時，有仙人浮丘公帶著王子晉上嵩山修道，後來曾雲遊到羅浮山修行。秦時有個叫安期生的人在東海一帶賣藥，救治病患，時稱千歲翁，曾經在羅浮山澗中采菖蒲服用，今菖蒲澗因此得名，後據說在此飛升。還有一個叫桂父的象林人，膚色有時是黑色的，有時變白，有時變黃，有時變赤，南海人都非常尊崇他。他常服食桂花和葵花，並配製成桂丸，制一千粒用十斤桂花，多少代人都見過這種丸子。他的道術遍佈東南，後來在羅浮山成仙。除此之外，秦朝時還有霍龍，漢時有朱隱芝、華子期、東郭延年等，皆在此山得道成仙。

明朝陳木連《羅浮志》卷四和清宋廣業《羅浮山志》卷四稱，三國時期，著名的吳國道士葛玄在羅浮飛雲頂煉丹成仙，其弟子鄭思遠也在此山修煉成仙。不過，也有史書說他是在雲南蒼山或者廬江馬跡山隱居修行後羽化成仙。哪種說法正確，目前已難判斷。《晉書·葛洪傳》載，東晉道士葛洪晚年居住在羅浮山修行煉丹，他還與另一位後來亦成仙人的鮑靚常常在此徹夜談論修煉之事，因此在山上留有一些仙跡就不足為奇了，最有名的是「遺履軒」。相傳一天葛洪與鮑靚正相談甚歡，一直到拂曉十分也沒有睡意，忽然，一對玄燕向他們飛來。二仙一時興起，將燕子網下，不料發現卻是一雙神靴。所以此地便留下了神仙遺履的傳說。在這個遺履軒上，還有一塊形如臥榻的青石板，傳說古代曾有一位仙人在此靜臥。

葛洪有一弟子名黃野人也是居住在羅浮山較早的道士，跟隨著葛洪煉丹。葛洪仙逝後，他得葛洪仙丹一粒，服之成為地行仙。東晉時，敦煌人單道開從南海進入羅浮山修行，活了一百多歲。隋唐時，道教在羅浮山有了較大的發展，一些道士如蘇元朗在此修行，傳說活了幾百歲。還有軒轅集，也活了很長時間，面容不見衰老。更為奇特的是，他居暗室之中，卻可以看到數丈遠。據說他每次去深山中採集藥材，毒蛇猛獸不僅不傷害他，而且還來保護他。他治病時，只要用布巾一揮，病人立時就治癒。後來唐宣宗召見他詢問長生的秘訣，他的回答是：「絕聲色，薄滋味，哀樂一致，德施無偏，自然與天地合德，日月齊明。」另有一道人陶八八曾經傳授給顏真卿刀圭碧丹，並在羅浮山修煉成仙。

宋元時期也有大批道士在羅浮山修行。比較知名的有南宗五祖之一的陳楠，白玉蟾，鄒葆光，張月窗、蕭集虛等。明清時，在羅浮山修行的道士知名的有徐子明，梁可瀾等。

兩晉南北朝時，羅浮山尚沒有正規的道觀，只有簡陋的庵捨，主要是葛洪所建的四庵：都虛（後稱沖虛，即南庵），孤青（西庵），白鶴（東庵），酥醪（北庵），其後皆加擴建，稱觀。隋唐時，羅浮山已建起一批宮觀。最早修建的是沖虛觀。五代南漢時在沖虛觀東建九天觀，宋代改名為明福觀。有在葛洪西庵基礎上建天華宮，宋代時改為長壽觀。宋元續有隱，知名者亦不少。宋元時期，羅浮山又建有一批庵觀，如廣莫庵，見日庵等。羅浮山舊有九觀十八寺二十二庵之說，明清之後，許多已經被廢棄，現尚存五觀五寺。道教五觀，即沖虛觀、酥醪觀、九天觀、白鶴觀、黃龍觀。其中沖虛觀中有仙人葛洪煉丹時取水的「長生井」和洗藥的池子。

羅浮山上還有一處景致非常優美的所在：朱明洞。據說是葛洪修道成仙的地方。

唐朝詩人李賀曾作《羅浮山人與葛篇》：