史料記載，公元前3世紀，統一印度的印度孔雀王朝國王阿育王皈依佛教，並大肆弘揚佛法。他不僅派遣僧侶四方傳播佛教，還取出王捨城大寶塔阿闍世王分得的佛陀捨利，分成八萬四千份，「令羽飛鬼，各隨一光盡處，安立一塔。」這些捨利塔因系阿育王下令建造，故稱「阿育王塔」，共建造了8萬4千座，其中中國擁有19座。鄞縣五鄉鎮阿育王寺中的捨利塔是目前中國唯一保存下來的。

傳說，在西晉太康三年（282年），著名僧人劉薩訶（慧達）雲遊到此，發現了一座釋迦牟尼佛真身捨利塔，塔四方五層，高約尺四，方廣七寸。劉薩訶遂在此修行並結茅供養。唐名僧道宣《感通傳》載此傳說：晉太康二年，惠達（即慧達）東詣鄮縣，入烏石□，結茅以寓，遍訪海涘名山。忽一夜聞土下鐘聲，即標誌其處。越三日，見梵僧七人，行道空中，地形如湧，為方巖狀（即湧現巖），神光照映，因刨土求之，得一石函，中有捨利寶塔。六僧騰空而去，一僧化為烏石，因以名□焉。

東晉義熙元年(405年)，晉安帝敕建塔亭和禪室，並派27名僧人守護。南朝宋元嘉二年(425年)，宋文帝下旨建三級木浮圖，並創建殿宇及塔寺，阿育王寺初具規模。梁武帝時期，大興佛教。普通三年(522年)，梁武帝賜寺名為「阿育王寺」，並擴建寺院。自此，阿育王寺名揚天下，成為信徒朝拜之所。

唐朝天寶三年（744年），高僧鑒真第三次東渡日本失敗後，暫時寄居在阿育王寺，並在此講授佛法，眾多信徒紛紛來此聽法。唐中宗時，阿育王寺進入初盛時期。會昌時期，唐武宗滅佛，捨利塔被藏於越州官庫中，後被重新安置在阿育王寺中。懿宗鹹通時期，當地官員上奏稱捨利塔發出異光，認為是國家祥瑞之兆，懿宗下令派27名僧人守護。北宋大中祥符元年（1008年），阿育王寺被定名為「阿育王山廣利禪寺」，是時「法席鼎盛，名播天下」。阿育王寺走入鼎盛時期。

元朝建立後，元世祖遣使將捨利塔迎奉到開平府華嚴寺暫時供奉，並下令修繕阿育王寺，其後又將捨利塔送回。明洪武十五年（1382年），明太祖為賜名阿育王寺為「阿育王禪寺」，冊封其為天下禪宗五山之第五山。萬歷時期，阿育王寺得以修繕和再次擴建。清初，阿育王寺的佛殿毀於火災。現存寺廟是清康熙十九年(1680年)重修的。

名寺出名僧。在阿育王寺中修行的僧人中不乏高僧。比如最早發現捨利塔的僧人劉薩訶和北宋時期的大覺禪師懷璉等。

如今留存的阿育王寺佔地8萬多平方米，建築面積約2萬多平方米，有房屋600多間。因寺前有形似筆架的玉幾山，好像是五隻鳳凰伸向寺院，故有「天童（寺）是九江捧珠，阿育王是五鳳朝陽」。

進入山門，沿中軸線上依次分佈著天王殿、大雄寶殿、捨利殿、藏經樓；東側則有鐘樓、念佛堂、客堂、先覺堂、大悲閣；西側為大壇、祖師殿、傅宗堂、碑閣、方丈室(承恩堂)等建築。此外，還有養心堂、退居室、引堂寮、拾翠樓、樸青閣、白雲竹院、普國塔院等殿堂樓閣。

上述建築中最為著名的當屬捨利殿了，為其它寺院罕見。它高15.3米，面闊5間，在殿外簷間方形額上是由宋孝宗題寫的「妙勝之殿」四字。殿內正中上懸豎額書「佛頂光明之塔」，乃是宋高宗的筆墨。殿正中是高約7 米的石塔，內放置七寶鑲嵌的「捨利放光」之木塔。石塔後面供置著長約4 米的釋迦牟尼佛臥像。殿後還有長約2 米，寬約1.5米的「母乳泉」。

除了阿育王寺內的建築，佛寺周圍亦有佛跡巖、佛跡亭、仙書巖、上塔、下塔（合稱般若塔）等佛跡。