甘露寺建於清康熙六年(1667年)，當時的玉琳國師來九華山朝拜，途經此地，贊曰：「此地山水環繞，若構蘭若，代有高僧」。正在伏虎洞修行的洞安和尚聽說後，隨即在鄉人的資助下在此建寺。傳說在破土動工的前夜，滿山松針盡掛甘露，人人稱奇。又因《法華經·藥草喻品》中寫道：釋迦說：「我為大眾說甘露淨法。」阿彌陀佛又有「甘露如來」、「甘露王」的稱號，他化身說法時就有「澍甘露之雨」之言，所以將新建寺院定名為甘露寺。全寺建築面積約為3500平方米。

寺院建成後，洞安和尚曾在此兩度登壇說法。乾隆間住持僧優曇開壇傳戒，成為叢林。此後歷經道光、咸豐時期，香火一直旺盛。後遭兵火，同治年間重修。

與其它寺廟建築有所不同的是，甘露寺的佈局並不是對稱的。進門後即見後牆，不與院落相通，到大殿須從兩旁山牆小門進去。整座寺廟依山佈局，共有五層，殿宇完整，樓閣整齊。背倚青山，泉水從殿角流來。北面的韋馱殿和知客堂建在高2.5米的台基上，為三層閣樓。韋馱殿南面是高15米的大雄寶殿，前有半廊，殿身建在高6.8米的台基上，寬17米，深15.5米。大殿東為兩層走馬通樓，內有天井，樓層上下分別為祖師殿、方丈察、撣堂和客房。寺內有3個天井、上百個外窗，大殿為歇山頂。寺前路旁有石砌冰紋通花欄杆，可在古樹蔭下憑欄遠眺，一覽山色。曾有在此留宿的文人留下了這樣的詩句：「到此禪關宿，方知山色多。」如今尚存大雄寶殿、配殿、寮房、鐘鼓、碑刻等建築和文物。