列為南雄六景之一的「陰晴塔影」─「三影塔」，因塔有三影而得名，而且傳聞頗多。《直隸南雄州志·古跡略》記述「陰晴塔影」中記載：在延祥寺中，祥符二年(已酉年)，有一異人建造了一座塔，其塔不管睛天還是陰天，廟堂的壁上都可反射出三個塔影，一影向上，兩影倒懸。傳說，如果影塔照在廳堂則為吉兆，照映在寺壁則為凶相。因此，塔被稱為「三影塔」，廟堂被稱為「三影堂」，「三影堂」早已不復存在，但「三影塔」卻屹立至今。

明禮部尚書、大學士丘浚，景泰丙子年(西元1456年)作《延祥寺浮圖記》一文中記載：「延祥寺在南雄府治東二里，宋大中祥符間僧祖善始建。寺有浮圖蓋自孫吳時僧康會創於金陵始，及晉南遷，重加修飾，天下仿而為之。於是，下至偏州小邑，無不見之以為標表焉。」

三影塔已有近千年了，為何有三影，舊志並未記載。從三影特性上，根據光學原理推測，塔的一邊必有兩口水塘。《延祥寺新創彌陀殿觀音記》碑文云：「塔後餘地舊為曠蕪之場，僧闒教庳，叢林湫隘」。此地很可能舊為水塘。而且兩塘與一塔成一直線時，當太陽與塔、塘形成一直線時，在一定角度上就能在壁上出現三影，一影為直映於壁的塔影，塔尖向上；二影為兩水塘中的倒影反映於壁，塔尖向下。因為一年四季大陽位置不同，故太陽與塔、塘形成直線的時間、角度也不同，所以有時三影在廳堂，有時三影在房室。

塔始建於北宋大中祥符二年（西元1009年），在明朝正統十一年（西元1446年）重修過。三影塔與六榕花塔均採用了「穿壁折上式」，是一種相當先進的建築結構。

「三影塔」是比「六榕花塔」早百年建造北宋早期磚塔。

三影塔為樓閣式磚塔結構，塔形平面為六角形，共9層，加上仿宋代貫珠形的鑄鐵塔剎頂，總高50、2米，構建特殊。塔內設有木階梯，塔身每層均伸出飛簷和欄杆，飛簷的梁頭上都懸掛著一隻銅鐘，全塔共有48只銅鐘。每上一層均須鑽出塔門，繞塔身外壁的迴廊一段，才能進入另一塔門，可逐層再向上攀登。

塔簷上每條簷脊的端部，各蹲伏著一隻醬紅色的陶制貔貅。傳說中，貔貅是一種形似虎、毛色灰白的猛獸。古時候常用它來作為軍隊的稱呼。關於三影塔的陶貔貅，民間流傳著這樣一個故事：南朝時，梁武帝蕭衍的長子蕭統，隱居在始興的傅大士那裡讀書。有一年，始興、南雄一帶流行瘟疫，死人甚多，治好這種病，得用貔貅角磨水喝才行。蕭統為了治病救民，奮起追瘟，從始興追捕一隻貔貅追到南雄的瑞應山，直追到「三影塔」下才把貔貅抓住，斬去它的角，磨水給民眾治病。百姓得到了救治，這樣很快就撲滅了這場瘟疫。蕭統因勞累過度不幸病故，人們為了紀念
這位心地仁慈的太子，便在瑞應山前建了延祥寺來祭祀他。到了宋代建塔的時候，又將陶制貔貅放在簷角，也為了寄以祛災托福的心願。

「三影塔」飽經風雨雷擊，數度火災，塔頂早已傾倒，塔身也殘破不堪。
自1982年，經過一年多的重修，目前「三影塔」仍舊保留了宋塔特點，古風猶存。