據史書記載，東漢永平年間的一個夜晚，漢明帝劉莊夢見一個金色神人，身上放著光芒，飛進了皇宮殿庭，令人心悅。次日，明帝召集大臣詢問夢中之事，有大臣傅毅回奏道：「周昭王二十四年四月初八，山川震動，江河氾濫，晚上西方天空現出五色光華。太史蘇推測，這當是一位大聖人在西天誕生。這位聖人降臨人間是為了救苦救難，他的義理，一千年後就能傳入我國。現在時間已經差不多千年，臣聽說西域有位神人，其名曰『佛』，陛下大概夢到的就是佛。」為了瞭解「佛」的情況，明帝派12人前往西域尋佛求法。

這12人歷盡艱險，來到了西域的大月氏國。那裡佛法盛傳，寺院眾多。一行人於是收集了一些佛經和佛像，並邀請天竺高僧攝摩騰、竺法蘭去中原講法。在永平十年(公元67年)，他們回到了洛陽。

明帝十分高興，特意召見了兩位僧人，然後請他們在外交官署上午鴻臚寺住下，翻譯帶回的佛經。第二年，明帝又下詔在洛陽雍門外修建了一座僧院。「寺」本義是官署，因攝摩騰、竺法蘭初來時往在官署，又是外賓，為示禮待，就仍稱新居為寺；此後，中國佛教建築就相沿稱「寺」。此外，永平取經時，是一匹白馬馱回佛經、佛像的，為了紀念白馬的功勞，就將僧院命名為「白馬寺」。

攝摩騰、竺法蘭二位高僧在白馬寺內譯經傳法，二人共同譯出了最早的漢文佛經《四十二章經》。攝摩騰圓寂後，竺法蘭又繼續譯出了一些經卷。所譯的經卷，都珍藏在大殿內，供僧徒們膜拜。據傳，北魏時，僧徒們正在對這些佛經膜拜時，經卷突然發出了五彩光芒來，將大殿照的通亮。更令人稱奇的是，光焰中還現出了佛的形像。

唐武則天時，白馬寺盛極一時，僧人有千餘。安史之亂和會昌滅佛時，白馬寺遭到較大破壞，呈現的是「斷碑殘剎見遺蹤」。宋太宗時重修白馬寺，明嘉靖時和清康熙時亦進行了修葺。

現存的白馬寺佔地四萬平方米，一百多間的殿堂的佈局是縱軸式的，主要殿堂位於南北中線上，從山門往裡縱深依次是：天王殿、主殿大佛殿、大雄寶殿、接引殿、佛殿毗盧閣。

主殿大佛殿內中央供奉的是端坐蓮台的釋迦牟尼佛，右手拈花，左右是迦葉、阿難二弟子，文殊、普賢二菩薩列坐，二天女後侍。大佛殿東南角有一口明代鑄鐵鐘，重二千五百公斤。據說在風清之夜或晨曦初露之時，白馬寺鐘聲可以傳數十里，而且城內東大街鐘樓上的大鐘也能與之共鳴，確實是「鐘聲響徹梵王宮、下通地府震幽靈」。

大佛殿之後是供養著三世佛的大雄寶殿，兩廂分列十八羅漢。羅漢像姿態不一，神情各異，系元代用夾苧干漆造像工藝塑成，十分珍貴。大殿後是接引殿，最後是佛殿毗盧閣。毗盧閣建於唐朝，內供奉釋迦牟尼佛的清淨法身毗盧佛，旁立文殊、普賢菩薩。閣後石碑上刻著《四十二章經》。

在白馬寺的東南角和西南角，有攝摩騰、竺法蘭的丘塚。寺院外東南約200米處，有一座高24米的13層密簷式磚塔，名為「齊雲塔」，本稱釋迦捨利塔、金方塔、白馬寺塔。建於後唐，後在宋代被毀，金代重修。

白馬寺六景是：清涼台、夜半鐘、齊雲塔、籐蘭墓、斷文碑、焚經台。