終南山古名太一山、地肺山、中南山、周南山，簡稱南山。據說因為山在周王朝的南面，故名南山，也叫終山，即陸終居地而得名。《禹貢》有「終南悖物」之句。因漢武帝曾在這裡祭祀過太乙神，故又名為太乙山或太一山。《漢書·地理志》載：「扶風武功縣有太一山，故以為終南。」宋朝程大昌《雍錄》卷五稱：「毛氏曰：『終南，周之名山中南也，中南即終南也。』《關中記》曰：『中南，言居天之中，都之南也。』又曰：『終南、太一，左右三十里，內名福地。』」清朝閻若璩《尚書古文疏證》考據說：「終南，南山之總名；太一，一山之別號。」

道教始終將終南山看作「洞天之冠」，「天下第一福地」，所以未將其列入洞天福地的名冊中。東晉葛洪《抱樸子內篇·金丹》還將其列為「合作神藥」的名山之一。

相傳春秋時，周康王的大夫、天水人尹喜常在終南山結草為廬。他善於觀察天文現象。一日，他見紫氣東來，吉星西行，知道必有聖人經過函谷關西行。於是，尹喜求為函谷關令，並預先齋戒，等待聖人的到來。後來身披五彩雲衣的老子果然來了，並在樓南的高崗上給尹喜留下了五千言，這就是對後世影響深遠的《道德經》。尹喜後來也得道成仙。

根據史料，秦時，就有人在終南山上修煉。北宋宋敏求《長安志》卷十一引晉皇甫謐《高士傳》曰：「秦有東園公、夏黃公、綺裡季、甪裡先生，時呼四皓，共入商洛，隱地肺山，以待天下定。及秦敗，漢高帝召之，四人乃深自匿終南山，不能屈之。」據說東園公、夏黃公、綺裡季和甪裡先生這四個人後來都成了仙。《晉書·王嘉傳》記載了在終南山修行的東晉道士王嘉的事跡。他是隴西安陽人，先是在東陽谷隱居，鑿巖穴居。跟從他修煉的人有數百人，也都住在洞穴中。據說王嘉不僅不食五穀，而且可以預知道、吉凶，會隱身之術。在石季龍叛亂後，他獨自來到長安，悄悄隱居在終南山，結庵廬而居。後來前秦苻堅派人詢問淝水之戰的勝負。王嘉先說了「金剛火強」，然後騎上使者的馬，向東行數百步後縱馬急馳而回。一邊騎馬，一邊脫下衣帽、鞋子，下馬後盤在床上一言不發。其意思是苻堅大敗。後來苻堅果然戰敗，前秦滅亡。

南朝宋時有李和隱居終南山，101歲時坐逝。唐朝時則有新羅人金可記、孫思邈等居終南山修煉。唐末五代後，鐘離權和呂洞賓亦與終南山結下了很深的淵源。此二人後位於「八仙」之列。宋釋志磐《佛祖統紀》卷四十三記載，五代時的鐘離權，自稱南漢時遇上了仙人王玄甫，得到了長生之道。後為了躲避戰亂進了終南山，並在此修行。唐時的呂洞賓，在長安酒肆遇見了鐘離權，隨即跟隨他進入終南山修道。後亦得道成仙。還有一個叫劉海蟾的，也受鐘離權點化，遁跡終南山下；後丹成屍解，有白氣自頂門出，化鶴沖天。

到了金、元時期，全真道教因宗祖鐘離權、呂洞賓和創教祖師王哲最初在終南山修道，因此終南山成為全真道最早的發源地。在成吉思汗的支持下，邱處機建造了大量宮觀，使終南山道教走向了鼎盛。在此修行的道士人數眾多，《終南山祖庭仙真內傳》所載即不下數十人。明清時期，仍有一些道士在終南山修道，但此時的道教已趨衰落。

西漢時，終南山上就建造了太乙宮。唐代時建起了一批宮觀。比如太和宮（後更名為翠微宮）、四皓廟、廣惠公祠、會靈觀等。從元初起，終南山相繼建起了以重陽萬壽宮為中心的大批宮觀。重陽萬壽宮，金代名靈虛觀，蒙古乃馬真後三年（1244）賜額重陽萬壽宮。還有遇仙觀，傳為王哲甘河遇仙處。此外，還有通仙萬壽宮、棲雲觀、集仙觀、太一觀、玉華觀、白鹿觀、筠溪道院、純陽演化庵等，皆建於元代。明清時期，終南山原建各宮觀，除少數外，大多因為年久失修而廢棄。

除了修道之人在終南山上修煉外，在北魏太武帝和北周武帝的兩次滅佛後，隨著長安城內的僧人因避難至終南山，佛教開始在終南山上得以發展。一些僧人開始在此修行。因此，除了道家仙跡外，終南山上還有佛家聖跡，比如在南五台，它是以大台、文殊、清涼、靈感、捨身五個小台（即五座小峰）而得名，還有明清以來建造的大小廟宇40多處。

唐太宗李世民曾作《望終南山》一詩：