閣皂山古稱閣山，又名葛嶺，五代范資所撰的《玉堂閒話》云：「南中有閣皂山，山形如閣，山色如皂，故號閣皂山。乃葛仙翁得道之所，七十二福地。」「閣」是說山的形狀，「皂」指山的顏色。

關於在閣皂山上修煉之人的記錄，今天史籍所見的是從東漢開始的。相傳道教創始人張道陵，曾在東漢永元時期來到閣皂山修煉，並在西峰建壇，名為「天師壇」。三國時，吳國道士葛玄在遊歷諸名山之後，「最後於閣皂山東峰臥雲庵築壇立灶，以煉金丹。」《雲笈七簽》卷三《靈寶略記》說：「至三國時，吳主孫權赤烏之年，有琅琊葛玄字孝先……志尚山水，入天台山學道，精思遐徹，未週一年，感通太上遣三聖真人下降，以靈寶經授之……三真末降之前，太上又命太極真人徐來勒為孝先作三洞法師。孝先凡所受經二十三卷，並《語稟》、《請問》十卷，合三十三卷。」後來葛玄在此升天成仙。後人用「漢吳神仙」形容在此羽化成仙的張天師和葛玄。

在張天師和葛玄之後，晉代道士丁令威在閣皂山修真得道。今天山北高峰為丁真人壇，又名丁仙峰。其後，葛玄的侄孫葛洪也來此修道。葛玄在成仙前，將「靈寶經」傳給了弟子鄭思遠，後傳給了葛洪。《晉書》卷七十二《葛洪傳》載葛洪「從祖玄，吳時學道得仙，號曰葛仙公。」葛洪後來傳給海安君，海安君傳給葛巢甫，葛巢甫在東晉隆安末，傳與道士任延慶、徐靈期。南朝劉宋道士陸修靜弘揚靈寶經，從此「靈寶之教，大行於世」。葛洪被稱為靈寶派的始祖，葛玄為祖師；因為閣皂山有葛仙公修道靈跡，還有葛玄升仙羽化之前，將靈寶法菉傳付閣皂山，因此閣皂山成為靈寶派的祖山和聖地。隋唐時，一些道人來此修煉，如孫智諒。閣皂山道教開始走向繁盛。宋代是閣皂山道教的興盛時期，有眾多道士來此修道，如陳元禮、楊固卿、朱季愈等。元代之後，道教勢微，知名的道士也不多見了。

大概在南北朝至隋唐期間，閣皂山已建有道觀，如靈山（或作靈仙）館、金仙觀等，後被焚燬。此外，還建有閣皂觀和仙人、路山、郭公、臥雲四庵。宋代，閣皂山主要宮觀閣皂觀（1118年更名為崇真宮）十分興盛，內有葛仙公殿。光緒《江西通志》卷二百二十二載，唐代賜名的閣皂觀，「南唐又名元都觀，宋祥符（1008∼1016）中賜名景德。」南宋時的崇真宮已是殿堂林立的大宮觀，「道士數百人環居其外，爭占形勝，治廳館，總為屋千百間，江湖宮觀未有盛於斯者。」元代，閣皂山道教繼續發展。但元以後，漸趨衰微。元至正十二年（1352），崇真宮台基殿俱毀。到了清初，宮觀「所存者惟八景壇基。」

作為道教名山，閣皂山上有眾多的仙真修道遺跡。除了前面提到的閣皂山西峰的張道陵壇、丁仙峰外，還有葛玄在山的東峰留下的靈寶法壇，用於超度死於戰亂的窮魂滯魄；以及金沙池、搗藥臼、雙鯉石等。明譚嗣先編撰的《太極葛仙公傳》說葛玄：「最後於閣皂東峰建臥雲庵，築壇立灶，以煉金丹。於時瑞氣祥光，照映山谷。嘗於洞口金沙池中浴丹，其泉忽然湧漲，金沙騰沸，至今丹池之內，金沙自沸。又嘗於西峰石壁上石臼中搗藥，因墮藥一粟許，有飛鳥食之，遂不死。至今月夜，其鳥鳴，作丁當杵臼聲，世名搗藥鳥。仙人琴高嘗騎雙鯉訪仙公於臥雲庵，相與置酒酣飲，醉而臥。及醒，雙鯉已化為石。仙公乃以雙鶴與之，琴高遂乘鶴去，雙鯉石至今在後山間。」

此外，閣皂山東峰的禮斗石，相傳是仙公禮斗處。山中流水名為葛憩源，因為葛玄曾在此休息而得名。閣皂山的八景玄壇，相傳得名於葛玄沖舉之日，天帝賜以八景玉輿，玉女峰有葛玄升天遺跡。閣皂山的臥雲庵、藏丹室，又是葛仙公煉丹藏丹之處。北宋文人陶弼有詩《閣皂山》，讚美了閣皂山的仙景：