關於南嶽的由來，《周禮•職方氏》中說：「南嶽之鎮曰衡。」以「其分當翼軫，光輔紫宸，鈐三氣之根，鈞五靈之德，上列注生之宿，下符長育之功，稱物平施，故謂之衡山」。東晉羅含所著的《湘中記》中說：「衡山，朱陵之靈台，太虛之寶洞，上承軫宿，銓德鈞物，應度璣衡，故名衡山。下踞離宮，攝位火鄉，赤帝館其嶺，祝融宅其陽，故曰南嶽。」不過，以前的南嶽衡山並不在今天的所在。南朝任昉著的《述異記》中說，南嶽是由盤古的左臂變的。漢武帝南巡時，「以南嶽遼遠，乃徙其祭於廬江」。陸增祥《八瓊室金石補正》卷五十六中說，漢武帝時以安徽潛山的天柱山為南嶽，到唐貞觀時，才正式確定湖南衡州的衡山。

衡山被認為是神仙洞府所在地，也是修煉之人的理想修煉之處。因為此山充滿靈氣，在此修煉，就可飛升。道教認為衡山是由仙人石長生管理的。據說從西晉起，就有道士在衡山上修行。唐末李沖昭在《南嶽小錄》中就記載了在此修道的九位著名道士。有晉武帝時的陳真人興明，晉惠帝時飛升；尹真人道全，晉懷帝時飛升；徐真人靈期，宋元徽時飛升；陳真人惠度，齊武帝永明時飛升；張真人曇要，齊延興元年時飛升；張真人始軫，梁天監三年時飛升；王真人靈輿，梁天監十一年時飛升；鄧真人郁之，梁天監十年時飛升。

除了《南嶽小錄》記載之外，在衡山修煉成仙之人亦並不少見。鄧欲之，隱居在南嶽洞台，夜誦大洞經，感動了仙人魏夫人，並現真身告訴他：「君有仙分，特來相訪」。清乾隆《南嶽志》卷四稱其為鄧郁之（南嶽九真之一）之子。廖沖，字清虛，梁武帝大通三年（529）居住在連山郡，以才德見稱，曾做本郡主簿。後辭官開始尋求修道的方法。在嵩山住了很久後，來到了南嶽，在祝融峰遇見仙人太平真君傳道，於是得成仙之法。據說活了一百多歲，在唐先天元年（712）成仙。司馬承禎，字子微，唐朝開元（713∼741）初，從海上來到南嶽，開始修煉，後得道成仙。薛幽棲，蒲州寶鼎人，開元間及進士第。後在青城峨眉開始訪道。天寶（742∼755）初年，來到南嶽。後在墨山屍解成仙。

兩晉南北朝時，衡山已建起了一些道觀，如衡岳觀、招仙觀、九真觀、九仙宮、玉清觀等。目前許多已經被廢棄。

南嶽不僅僅是道家修煉的理想之地，隨著佛教在中原的傳播，亦成為佛家修行的場所。南北朝時，一些和尚來到衡山，著名的有南嶽十八高僧。比如天台宗的慧思就在此修行，並在衡山上建立了般若寺，即今福嚴寺，又建立了小般若寺，即今藏經殿，弘揚佛法。禪宗七祖懷讓也在此修行。此後修建的寺廟還有：南台寺、祝聖寺等。

魏晉詩人陸機有詩《詠南嶽》：