根據史料記載，春秋戰國時，越王勾踐曾將普陀山及附近諸島稱為「甬東」。秦朝安期生、晉朝葛洪等人都先後來此山採藥和修煉，後來均得道成仙。漢代時，學者梅福曾來山隱居，故普陀山初名梅嶺山。

據傳說，唐朝大中年間（公元848年），有一天竺僧人來到普陀山，親眼目睹了觀音菩薩現身說法，並授以七色寶石，故稱此地為觀音顯聖地。其言稱觀音「身長80萬億那由旬，身紫金色，項有圓光，面各百千由旬…… 其餘身相，眾好具足，與佛無異。唯頂無肉髻及無見頂相，不及世尊。」

觀世音菩薩，梵文為Bodhisatta，音譯為「菩提薩捶」、「菩提索多」、「扶薩」等，意思是「大士」、 「勝士」、「大道心眾生」、「法王子」等。阿彌陀佛的左脅侍為觀世音菩薩，右脅侍為大勢至菩薩，這三位合稱為「西方三聖」。

釋迦牟尼佛曾說過：觀世音菩薩在我之前就早已成佛了，其佛號是「正法明如來」。釋迦牟尼佛又說：我當時就在正法明如來門下作苦行弟子。我就是因為當時受到正法明如來的教化，如今才能成為釋迦牟尼佛。不單我受到教化，當時諸佛都由正法如明如來教化，才獲得至高無上的道法和佛所轉的殊勝而不可思議的妙法輪。

觀世音菩薩的道場在補怛洛迦。補怛洛迦是梵語Potalaka的譯音，又作「普陀洛迦」、「布達拉」，意為「光明山」、「海島山」、「小花樹山」等。《華嚴經》記載說：「稗瑟胝羅居士指示善財云：『南方有山，名補怛洛迦，有菩薩，名觀音自在。』汝詣彼問菩薩云：『何學菩薩行，修菩薩道？』善財依次遊行，至於彼山，見其四面岩石之中，泉流瀠映，林樹蓊鬱，香草柔軟，右旋布地，觀音自在菩薩於金剛石上，結枷趺坐。」佛經中所描寫的地域方位，仙島環境，與普陀山十分吻合。

清康熙《定海縣志》轉引《普陀志》說：大概在五代後梁時（公元916年），日本高僧慧鍔來曾從山西五台山請得一尊觀音聖像，經明州(今寧波)乘船回國，途經普陀洋面，突然遇到了大風，而且海面上出現了數百朵鐵蓮花擋住了慧鍔的去路。雖然幾經努力，船仍無法前行，此時慧鍔立刻悟到，可能是觀音菩薩不肯離開漢地去日本。於是慧鍔祈禱說，如是觀音菩薩不肯去日本，那麼就在船到之處建廟供奉。話音剛落，鐵蓮花隨即隱去，船飄到了普陀山下的潮音洞，慧鍔與島上居民在紫竹林中建了一座小庵堂，稱為「不肯去觀音院」。此後，普陀山逐漸成為觀音菩薩的道場。而在此修煉的僧人也從未間斷。

宋神宗元豐三年(1080年)，開始在普陀山正式建寺，賜名「寶陀觀音寺」。 宋高宗時，將島上所有居民遷出，將之闢為「佛地淨土」。宋寧宗時指定普陀山重點供奉觀音，山中各寺院內均塑觀音像。元、明、清各朝都對普陀山寺廟進行了修繕和擴建。鼎盛時期，大小佛寺有300多座，僧人三千多。現在遺存的寺院主要有宋代的普濟、明代的法雨、慧濟三大禪寺及大乘、梅福、紫竹林、楊枝等30餘處禪院。

在普陀山上，留有許多聖跡和傳說。比如位於西天門的觀音古洞，據說是觀音修行的聖地，裡面非常清靜，猶如仙境。出古洞上山，不遠就是「二龜聽法」之地。傳說東海龍王左右龜相因聽觀音說法流連忘返，被龍王一怒之下化作二石龜。過了「二龜聽法」之地，即為「極樂亭」，據說是接引佛接送得道者到西方極樂世界的所在。亭上還有一幅對聯：「半輪淡月照禪心，幾縷殘煙載客夢。」還有短姑道頭上的「短姑聖跡 」，傳說是觀音菩薩給一朝拜者送食盒的地方。

被認為是普陀十二勝景之一的「法華靈洞」景色奇特，內中有石像，洞外有「青天福地」、「普陀巖」等題刻。普陀山最東端梵音洞處在陡峭危壁上，氣勢磅礡。在兩個陡壁間架有石台，台上築有雙層佛龕，名「觀佛閣」。想觀覽梵音洞的人，一定要來到觀佛閣。據傳在這裡觀佛，人人看到的佛都不同，即使是同一個人，也會隨看隨變，極其奇異。人們常常在這裡祈禱，希望觀世音菩薩可以現身說法。此外，還有仙人井等。

清代康有為有詩《游普陀題》贊曰：