史料記載，東晉時的印度僧人慧理來到杭州，看到這裡景色秀美，認為是「仙靈所隱」，故在此建寺，以「靈隱」為寺名。五代時吳越國王錢椒崇信佛教，因此廣建寺宇，靈隱寺也被擴建，當時有九樓、十八閣、七十七殿堂，僧眾三千，成為當時的江南名剎。北宋時，有人品評江南諸寺，靈隱寺被列為禪院五山之首。清康熙南巡時，曾來到靈隱寺，並賜名為「雲林禪寺」。現在天王殿前寫有 「雲林禪寺」的巨匾，就是當年康熙皇帝的「御筆」。不過，因為靈隱寺已名揚天下，人們依舊稱雲林禪寺為靈隱寺。靈隱寺自創建以來，毀建10餘次。如今人們看到的靈隱寺，是在清末修建的基礎上修葺而成的。

與江南其他寺院的格局相仿，靈隱寺的主要建築都建在中軸線上，依次為天王殿、大雄寶殿、藥師殿。走入山門，首先進入的就是天王殿。天王殿前左右各有石經幢一座，兩經幢都有《天下兵馬大元帥吳越國王建，時大宋開寶二年已巳歲閏五月》題記。天王殿裡正中面朝山門供奉著彌勒佛像，其身後站著手執金剛杵的韋馱菩薩，像高二米半，頭戴金盔，身裹甲冑，神采奕奕，為南宋遺作；兩側是四大天王高各八米，其中兩個形態威武，兩個神色和善，俗稱四大金剛。

天王殿後是大雄寶殿，原稱覺皇殿。其前月台兩側各有一座八角九層仿木結構石塔，塔高逾七米，塔身每面雕刻精美，乃是吳越末年雕造的。大雄寶殿呈長方形，高33.6米，大殿正中是一座高24.8米的釋迦牟尼蓮花坐像，造像「妙相莊嚴」、「氣韻生動」，是中國最高大的木雕坐式佛像之一。正殿兩邊是二十諸天立像，殿後兩邊為十二圓覺坐像。大殿後壁有「慈航普渡」、「五十三參」海島立體群塑，共有佛像150尊，正中為觀音立像，手執淨水瓶，普渡眾生；下面的雕塑內容講述的是善財童子拜觀音的故事。觀音兩側是善才童子與龍女，其上有地藏菩薩的雕像，再上面是釋迦牟尼雪山修道的場景。

大雄寶殿後為藥師殿，殿中供奉著藥師佛像及日天、月天。大殿左側，有陳列著五百羅漢像線刻石的羅漢堂。靈隱寺中還珍藏著如貝葉寫經東魏鎦金佛像、明董其昌寫本《金剛經》的等珍貴文物。

在靈隱寺旁的飛來峰上，有青林洞、玉乳洞、龍泓洞、射陽洞等石窟，內有五代至宋、元年間的石刻造像330餘尊，一些造像具有較高的藝術價值，比如玉乳洞內的一尊天冠觀音造像。

靈隱寺中最著名的和尚要屬濟公了。關於他扶危濟貧、懲惡揚善的故事因了同名電視劇的原因，已是家喻戶曉。就說飛來峰吧，傳說它飛來飛去到處害人，但是它卻永遠的留在了杭州這個地方，就是因為濟公叫人在山上鑿了五百羅漢，把它鎮住了。

唐代詩人宋之問曾作《靈隱寺》一詩，詩曰：

果真如此啊。