唐朝貞觀年間，佛法盛行，上至皇帝，下至平民，人人都好佛法。右將軍江蘇馬跡山人杭惲就是一個虔誠相信佛法的官員，與玄奘法師相交甚好。玄奘法師西行取經期間，杭惲也告老還鄉，在家修行。後來，玄奘取經回來，開始在國內各地弘揚佛法。在來到蘇州靈巖山時，順便來看老友杭惲。

一天，杭惲陪同玄奘時，看見法師有些憂愁，就問何故。玄奘告訴他，是因為看到當地沒有一座寺院而所以歎氣。一心向佛的杭惲慨然允諾，自己可以出資建一座寺廟，但要由玄奘選定廟址並親自傳法。玄奘非常高興，於是二人開始選址。當行至秦履峰東南側時，玄奘對杭惲說：「此地地形十分神奇，很像貧僧前往天竺取經時所見的佛祖講經的靈鷲峰，不過比那聖山小，我看就叫小靈山吧。」杭惲遂在小靈山上建造了第一座寺院，當時名為「靈山庵」或「小靈山寺」。寺院建成後，玄奘如約前來講法。

據說當時的小靈山寺「居重湖疊嶂間，最為幽絕」。寺院與太湖相臨，「波光雲景，照耀晃漾」；寺後「三峰環列，龍、虎拱峙」。殿前「塔影崔嵬落半天」，「若天窩，若月窟，若萬松居，皆散見僧捨。寶殿玉宇、青松翠竹、鐘鼓迴響，好像梵天佛地，靈山勝境。

唐玄宗時期，天台宗九祖湛然荊溪大師曾來到小靈山寺講法，德宗時期大師圓寂。五代十國時期，吳越錢鏐追贈其為圓通尊者。北宋大中祥符年間，真宗趙恆詔改小靈山寺為「祥符禪院」，徽宗時期，升「院」為「寺」，自此，始定名為「祥符禪寺」。宋代和元朝時期，寺院的香火一直都很旺盛。元朝末年，寺塔俱毀。

明朝建立後，在洪武初年，高僧釋行暉在此重建寺宇。此後，又經天竺僧智瀾、其徒道梁、天霖，道梁的高足德乘等的不斷修建，到萬曆初年，祥符禪寺已經基本修復，新建的天王殿、大雄寶殿中的「塑像莊嚴，金碧輝煌」。萬曆年間，太倉懷雲寺僧順庵禪師，應邀住持小靈山，經過三年將佛塔重新建起。

明朝末年，祥符禪寺再次遭到戰火的破壞。清朝康熙年間，康熙在南巡期間，在金山召見了當時的祥符禪寺住持紀蔭時，並御筆親書「神駿地」的匾額，祥符禪寺更名為「神駿地寺」，再次聲傳遐邇。根據史料記載，在釋紀蔭住持期間，修復或新建了山門、天王殿、伽藍殿、祖師殿、藏經殿、禪堂、法堂、茶寮、兩序寮、無隱軒、與鷗居、金粟廊、雙松草堂等。乾隆年間的方丈普仁再次進行了修葺。咸豐三年，太平軍與清兵交戰於此，殃及佛寺，殿宇毀壞殆盡。

民國三年（1914年），寺院被重新修建，復名為「祥符禪寺」。1938年，被日軍放火焚燒，寺院殘破。文革中，這座千年歷史古剎佛像倒地，殿宇被佔，僧人被驅逐。文革後，信眾再次重修寺院，並在1997年在小靈山上建成高八十八米的青銅立佛，人稱「靈山大佛」，大佛形體雄偉，儀態安祥，面如滿月，慈眉慧目，開顏微笑，右手「施無畏印」，左手「與願印」，與山西雲崗大佛、洛陽龍門大佛、四川樂山大佛、香港天壇大佛遙相呼應。

如今的祥符禪寺有山門、天王殿、鐘鼓樓、伽藍殿、祖師殿、觀音殿、地藏殿、大雄寶殿等建築，大殿兩側各有兩幢南北對稱的兩層樓房，法堂、禪房、客堂、方丈室、僧捨等分設其中。從山門，進天王殿，入大雄寶殿，來到後院門，登上218級台階，可以到達大佛座前的大平台。