廬山，古名匡廬或匡山。關於山名的來歷，還有兩個傳說故事。一說是在周威烈王的時候（即公元前四世紀），有一個叫匡俗的來到廬山學道求仙。周王屢次想請他出山，都被他拒絕。後來他潛入深山，蓋了一座草廬，安心修煉，最終羽化成仙。因為「成仙」的人姓匡，所以又稱匡山，或稱為匡廬。人們還把他求仙的地方稱為「神仙之廬」。另一種說法是周朝有匡氏七兄弟，喜好道術，他們來到鄱陽湖邊上的大山裡結廬為捨，學道求仙，因此這座山被稱為「廬山」。

由廬山的得名可知，廬山在周時就有人在此進行修煉。三國時期，道士董奉隱居在廬山上修煉。因為醫術高明，他常免費為山民治病。一次，有一個人得了疫病，危在旦夕，被人用車拉著來見董奉。董奉叫病人坐在一間房子裡，用布巾蓋住他，告訴他別動。病人後來說，起初覺得一個什麼東西來舔他的身子，痛得讓他難以忍受。它的舌頭好像有一尺多寬，氣息像牛一樣，不知是什麼動物，舔了很久，它才離去。董奉揭下病人身上的布巾後，給他沖洗，洗完後，就讓他回家。臨走時，董奉告訴病人：「你很快就會好的，注意不要吹風。」十幾天後，病人全身通紅，身上的皮已全部脫掉，疼痛不堪，用水洗才能止痛。二十天的時候，病人身上長出了新皮，皮膚光滑如凝脂。

董奉住在山裡不種田，每天給人治病，卻不收取分文。但是，他有一個要求，經他治好的重病患者，要栽五棵杏樹，病輕的，則栽一棵。許多年後，他治癒了成千上萬的病人，種下的杏樹達到了十萬多株，蔚然成林。他讓山中百禽群獸在杏林中嬉戲，替他掌管杏林。杏樹下不生雜草，像專門有人鋤草一樣。後來，杏樹開始結果了。每到杏子熟時，他就在杏林裡蓋一間草房作庫，並告訴人們：「想買杏的，只管拿一罐谷物倒進倉房，然後裝一罐杏子走。不須通知我。」常常有人用很少的谷物換取更多的杏，這時杏林裡的一群老虎就會吼叫著追過來，由於驚嚇，這些貪心的人就急忙逃命，罐裡的杏子因此會掉出不少。到家時，一量剩下的杏總是正好和送去的谷物一樣多。對偷杏的人，老虎就一直追到偷杏人的家中把他咬死，死者家的人知道一定是偷了杏，就原封不動的把杏奉還給董奉，並磕頭謝罪，董奉就讓死者復活。董奉每年把賣杏換來的糧食全部用來賑救貧困的人和在外趕路盤纏不夠的旅遊者，一年就有兩萬斛糧食像這樣被送了出去。

後來，董奉得道成仙而去。董奉在人間住了三百多年，走的時候，他的容貌仍像三十多歲的人。

東晉武帝太元六年(381年)時，僧人慧遠來到廬山宣揚佛法。他們開始住在龍泉精舍，此處離水源比較遠。慧遠就用錫杖叩地：「如果這個地方能容我們棲身，當使枯竭的土壤中冒出泉水。」話音剛落，水便湧了出來，形成了一條小溪。因此精舍被稱為龍泉寺。不久，潯陽一帶大旱，很長時間沒有下雨。慧遠就來到水池邊，閉眼誦讀《海龍王經》。一會兒，有巨龍從水中躍到空中，隨即下起了大雨。

此後，慧遠在廬山創建了東林寺。陶侃鎮守廣州時，有漁人在海中見到神光，乃是阿育王像。陶侃即接回送到武昌寒溪寺。寒溪寺主持僧珍曾經去夏口，夜裡夢見寺中起火，只有安置阿育王像的屋子獨有龍神圍繞。僧珍覺醒後飛馳還寺，果然寺已經被毀，只有放置阿育王像的屋子留存。後來陶侃調任，因為像有威靈，便派人來迎接。數十人剛剛把像放在船上，船就沉沒了。在慧遠創建東林寺後，他虔誠禱告，阿育王像飄然而至。

慧遠在廬山修煉三十餘年，弘揚佛法，影不出山，跡不入俗。他被視為佛教淨土宗的初祖。清人潘來說:「域中之山，自五嶽外，匡廬最著名。……東林寺於山最古，遠公於僧最高。東晉以前無言廬山者，白蓮社盛開，高賢勝流，時時萃止。廬山之勝，始聞天下，而山亦遂為釋子所有，迄於今梵宮禪字，彌滿山谷，望東林皆鼻祖也。」由此看來，廬山得以聞名天下，是與慧遠和東林寺密不可分的。

南朝時，道教正式進入廬山。道士陸靜修為了躲避戰亂，來到廬山隱居修煉，並建了廬山第一座道觀「太虛觀」。他與陶淵明、慧遠都是好朋友。據說他仙化之時，膚理輝爍，目瞳映朗，滿室異香。陸靜修之後，有眾多道士來廬山修行，最多時有數千人，如唐代的李騰空、蔡尋真、李白的夫人宗氏，五代的女道士楊保宗，宋代的陳搏等。宋代之後，廬山道教走向衰落，見載於史籍中的知名道士也比較少了。

史料記載，唐朝的詩仙李白曾五次登臨廬山，陪同宗氏夫人尋找廬山女道士李騰空。在夫人出家作了道士後，李白賦詩兩首。一首為「君尋騰空子，應到碧仙家，水舂雲母稚，風掃石楠花，若無幽居好，相邀弄紫霞」，一首為「多君相門女，學道愛神仙，素手掬青靄，羅衣曳紫煙。一住屏風壘，乘鸞著玉鞭」，表達了對仙人的尊崇。

廬山道觀最早修建的是南朝時的「太虛觀」，後更名為簡寂觀。唐代因為廬山道教的繁盛，也修建了更多的宮觀，如昭德觀、錄真觀、祥符觀、先天觀、景德觀、廣福宮、太平宮等。其中廣福宮又稱「匡君廟」，是為紀念仙人匡先生的。宋代除了修繕、擴建唐代宮觀外，修建的宮觀並不多。到了明清之際，大部分宮觀被廢棄。迄今保存完好的只有仙人洞道院，傳說是八仙之一的呂洞賓修煉的場所。

慧遠曾作五言詩《游廬山》，為歷代文人所推崇。詩曰: