茅山古代稱句曲山、地肺山，又名岡山。因為它山勢曲折，像漢字的「已」字，故名句曲山，又名金陵地肺山，道家稱「句曲之金陵，是養真之福境，成神之靈墟」。西漢景帝時，有陝西咸陽茅氏三兄弟茅盈、茅固、茅衷來句曲山修煉，同時給當地百姓治病，人稱「三茅真人」；後三人得道成仙。人們遂改句曲山為三茅山，簡稱「茅山」。在道教中，它被列為第八洞天和第一福地。

自古就有修煉人在茅山修行。相傳在距今5000多年前的高辛氏時期，就有展上公在句曲山伏龍地（今茅山鎮玉晨村）修煉。先秦時，有燕國人郭四朝在玉晨觀修煉；秦時，李明真人在古煉丹院（今乾元觀）修煉；西漢時有茅氏三兄弟茅盈、茅固、茅衷在此修煉成仙。西晉時，女道人魏華存修道於茅山，後被尊為茅山宗開山太師。東晉許謐、許歲羽父子曾在茅山修煉，並與楊羲合造《上清經》，創立了茅山上清派。後來得道成仙的葛洪也在茅山抱樸峰上修煉，並著書立說。晉末至宋、齊、梁時期，茅山修道者日眾，比較著名的有馬朗、馬罕、陸修靜、孫游岳、錢妙真、陶弘景等。

陶弘景，南朝著名道士，在茅山修行40餘年，是茅山上清派的主要傳承者。後來他遊遍了各個名山，尋求仙藥。有時他一個人獨自去山泉、岩石的地方遊覽，遠遠看到他的人都以為是神仙。陶弘景身長七尺八寸，性格謙虛禮讓，心胸寬闊、度量宏大，見解清晰，任何事情一眼就能看透。梁武帝取得皇位後，和大臣們商討定國號的事，但一直沒有統一的意見。陶弘景就按照各種卦書推算，建議國號定為「梁」。他又為梁武帝卜算出登基的日子，也十分吉利靈驗。梁武帝即位後，國家每當遇到吉凶、征討等大事，都要派人去他那裡咨詢，因此當時的人們把他叫做「山中宰相」。梁武帝有一次寫了一封親筆信請他入朝作官。陶弘景就畫了兩頭牛，一頭無拘無束的散漫在水草之間非常自由自在，另一頭戴著黃金籠頭，被人用繩子牽著，還用棍子驅趕著。梁武帝看了也笑起來，知道他絕不會出來作官，也就打消了迫他出山做官的念頭。

陶弘景在梁武帝（中）大同二年（丙辰年）三月十二日癸丑去世，當時八十一歲，死時臉上容顏仍像活著一樣，四肢柔軟能屈能伸就像平常一般，室內的香氣積聚好幾天都不散去。三月十四日，在雷平山給他建了衣冠塚（只埋葬他生前的一兩件衣物）。梁武帝下詔贈給他「中散大夫」的爵位，還追賜他「貞白先生」的謚號，並派官員監辦他的喪禮。馬樞在《得道傳》裡說，貞白先生成仙後被天界任命為蓬萊仙洲的都水監，有好幾百弟子。弟子中有些是得道的，如王遠之、陸逸沖、桓清遠等人，都繼承了貞白先生高尚的道德節操。

隋唐五代，茅山道教進入興盛時期，有大批道士在此山修道，比較有名的有：王遠知、潘師正、司馬承禎、李含光、韋景昭、黃洞元、孫智清、吳法通、劉得常、王棲霞等。他們亦多有仙跡留於世間。此時期來茅山修道學經者常達數千人。宋元時期，茅山道教繼續發展，比較知名的道士有成延昭、劉大彬、劉混康、徐希和、蔣宗瑛等。明清時期，茅山仍是江東道教聖地，知名道士有鄧自名、薛明道、陳德星、任自垣、王克玄、沈祖約、蔣德王宣、徐祖諫、戴紹資、任紹績等。據說明代「天下乞靈於名山者，東岱岳，南武當，東茅峰，奔走士女，地無遠近，而歲無寧息。」道士笪蟾光撰成《茅山志》。

因為茅山高道輩出，香火隆盛，所以被稱為「秦漢神仙府，梁唐宰相家」。元代文士趙世延《茅山志·序》評價茅山是「詔誥之隆，仙真之異，洞府之邃，壇菉之傳，人物之偉，樓觀之盛」。

茅山上修道之人眾多，自然也建有許多宮觀。南朝齊梁之際，建造的主要宮觀有：積金山上的華陽上、中、下三館，陶弘景隱居的道靖館，在雷平山上的朱陽館，郁岡玄洲齋室，嗣真館，女真人錢妙真修煉之地燕洞宮等。笪蟾光《茅山志》載：「齊梁之際，知名之館凡五十餘，精舍十餘，皆羽流居，宮觀盛築。」 隋唐時期，建造的道觀有太平觀、崇元觀和紫陽觀，都是唐太宗敕建。宋元時期，茅山建有大批宮觀，同時還修葺了一些建築，如宋代的崇禧觀、集虛庵（後改名為乾元觀）、五雲觀、清真觀、白雲崇福觀、抱雲觀等，元代的德祐觀、仁祐觀。後世所稱茅山「三宮五觀」（即元符宮、九霄萬福宮、崇禧萬壽宮和乾元、玉晨、白雲、德祐、仁祐五觀），都在唐時開始建造，完成於宋元。明清時，主要致力於宮觀的修復。抗日戰爭時，「三宮五觀」大部分的建築毀於戰火。

此外，茅山的二十六個溶洞，都與修道之人有著緊密的聯繫，比較著名的有華陽洞、玉柱洞、仙人洞。相傳西漢時茅氏兄弟三人與西晉時的汗澆及東晉時的許明，均曾於華陽洞內隱居修煉過，齊梁時的陶弘景也曾隱於該洞中修行。

宋代著名文學家王安石曾登臨茅山，作了《登茅峰》三首詩，抒發了對山景的留戀，對仙人的追憶：