「賀蘭」一詞一說來自蒙古語。古時的賀蘭山有多種稱謂，如阿拉善山。因其山勢雄偉，好像群馬奔騰，故名「賀蘭山」，蒙古語的意思是駿馬。相傳大禹治水時，曾劈開賀蘭山，引黃河水北流。但還有一種說法認為，蒙古語中的駿馬並不是「賀蘭」的意思。「賀蘭」一詞最早見於記載的是《晉書·北狄匈奴傳》，書中記載在十九種內遷的匈奴部落中，有一個叫「賀賴部」。《資治通簽》註解稱「蘭、賴語轉耳」，因此賀蘭是賀賴的音轉，既是族名，也是姓氏。大概因為賀賴部的人居住在如今的賀蘭山一來，所以山才被稱作「賀蘭山」。

賀蘭山幽雅的環境，涼爽的氣候，很早就成為僧人修煉的場所。據《宋高僧傳》記載，唐、五代時有新羅國王子無漏、增忍等多位僧人來到賀蘭山修行。宋鹹平五年，黨項族佔據賀蘭山，後建立西夏王國。西夏的開國皇帝元昊虔誠相信佛教，因此在國內大興寺院，向宋朝請賜佛經，並將賀蘭山、積雪山、焉支山奉為三大神山，賀蘭山為「神山之首」。他還聘請回鶻等族高僧，如白法信、智光，將佛經翻譯成西夏文。此外，他還欽定每年四季的孟朔日為官民禮佛之日。元昊之後的統治者沿襲了上述政策，在國內廣泛宣揚佛法，以藏傳佛教為主。從宋朝起，在此修行的僧人日眾，而且成為眾人的禮佛之處，因此寺廟的建築規模巨大。

如今，在賀蘭山的北麓有阿拉善盟規模最大的一座寺廟：北寺，即福因寺。而在山麓南端，巴音森布爾西北側一個群山環抱的寬闊地帶，坐落著南寺，即廣宗寺。兩座寺廟均建於清朝。

相傳西藏六世達賴喇嘛倉央嘉措雲遊至賀蘭山講法，並選擇山麓南端的一處地點準備立寺，是為南寺，藏文稱作「噶丹旦吉林」，意為「兜率廣宗洲」。為什麼選擇在這個地方呢？據說，這裡天似八幅金輪、地如八瓣蓮花，呈現吉祥之征。而且，傳說遠在唐朝時期，曾有十六羅漢和達摩在這裡駐足過夏。但是南寺尚未建起，六世達賴喇嘛就於1746年圓寂。在其圓寂後，其弟子阿旺多爾濟遵照師父的遺願，於1756年正式開工建寺，次年建成後將六世達賴喇嘛的法體搬至寺內供奉，同時迎請他的轉世靈童座床，舉行了盛大開光儀式。當時南寺的名字叫 「潘代加木草林」。 1760年清帝乾隆賜名「廣宗寺」，並授御筆金字匾。史料記載，1760年南寺的廟宇僧捨只有197間，到1869年的時候，已達到2859間，僧侶人數也有一千五百名。

此外，南寺周圍的瞻卯山、額爾德尼召和距寺較遠的道布吉林三座小廟是由南寺管理的。其子廟或屬寺有昭化寺等。

南寺的兩個葛根（活佛的意思）分別是從選定建寺地址的六世達賴喇嘛和親自建寺的阿旺多爾濟開始，以葛根轉世的形式傳下來的。第一代葛根是六世達賴倉央嘉措；第二代葛根是圖布丹嘉木蘇，俗稱溫都爾葛根，1780年圓寂；第三代葛根是卻達爾嘉木蘇，在南寺設立了法相僧院，1856年圓寂；第四代葛根是伊希楚勒圖木達爾吉嘉木蘇，1944年圓寂；第五代葛根是貢薩勒永恰布。南寺葛根是阿拉善最大的葛根，其各代轉世大都受達賴、班禪授予的「伊拉古克桑班迪貢卓諾門汗」和朝延授予的「大格布呼圖克圖」封號，還有一尊號稱為「嘉勒色來」葛根。其中著名的活佛，是六世達賴的轉世，另一位是藏王第巴的轉世，稱喇嘛坦。不過，六世達賴又轉六世後神秘失蹤，至今仍是個不解之謎。如今，南寺中仍然供奉著六世達賴的靈塔，遠近信眾常常前去禮拜。

南寺中有許多珍貴佛像、佛經和佛教藝術品等，如純金無量壽佛像。文革期間，寺院受到破壞，大量的佛像、佛經被毀壞殆盡，僧人也被驅趕。文革後才逐漸修復。

北寺，史稱「福音寺」，俗稱為「北寺」，建於清嘉慶九年（1804）。該寺是阿拉善王之子在皈依六世班禪後創建的，原名「准黑德」。後嘉慶皇帝賜名「福音寺」。寺周圍景色迷人，暢遊其中，猶如置身於世外桃源。

此外，賀蘭山東麓，還分佈著內容極為豐富、時間長達兩千年的巖畫。1997年，國際巖畫委員會將賀蘭山巖畫列入非正式世界遺產名錄。

唐朝著名詩人賈島在詩作《送李騎曹（一作冑）》中提到了賀蘭山的風光，詩曰：