據說當年岳飛大破金兵的時候，手下有個部將叫王佐。王佐曾用苦肉計說降了陸文龍。陸文龍上陣，把金兀朮殺的大敗。但王佐卻從此缺了一隻胳臂，不能再打仗了。岳飛便向皇帝保舉他做安樂王，皇帝答應給他在杭州城內造一座王府養老。

安樂王的王府造在河邊。動工的時候，泥沙、石灰、石板、木材堆滿在河埠上。河上沒有橋，原來的一隻擺渡船，又被運磚送瓦的工匠佔用了，老百姓沒法來往，心裡很生氣，就編出歌兒來唱：

「安樂王，安樂王，為你安樂大家忙！」

王佐從軍中回到杭州後，得知了這件事情，心裡很不是滋味。他想：我一個人要那麼大的王府做啥！不如拿這些材料在河上搭座橋，讓大家方便些。於是，他就吩咐工匠，先挑紮實的青磚石板，在河上搭一座大橋，剩下的材料，隨便造兩間房子做王府。

百姓聽說不造王府先造橋，大家都來幫忙。人多力量大，不到一個月工夫，便在河上造起一座寬闊平整的大橋。

河上有了橋，往來很方便，老百姓一高興，又編出新歌兒來唱：

「安樂王，好心腸，造座大橋通四方。」

你也唱我也唱，一傳兩傳，安樂橋也越來越唱出名來了。消息刮進地痞無賴妒嫉狂秦檜的耳朵裡。秦檜心裡立即妒忌起來，他說：「造一座橋也揚名！我如今就造它三座，一座比一座闊，一座比一座高，跟你王佐鬥鬥富有，看看你強還是我強！」

秦檜動動嘴，下面的官員便跑斷了腿：增捐加稅，抓夫派工，強迫老百姓不分晝夜的造橋。過了整整三個月，在安樂橋同一條河上，並排造起了三座橋，果然是一座比一座闊，一座比一座高。秦檜很得意，親自給這三座橋取了名字，叫做「斗富一橋」、「斗富二橋」和「斗富三橋」。

橋是給人走的，一條河上有一座橋就夠了。要造那麼多做什麼！老百姓恨死了秦檜，都賭氣不走他那三座斗富橋。

因為杭州人講話的聲音「斗富」與「豆腐」差不多，後來老百姓為取笑妒嫉狂秦檜，就把那三座橋叫做「豆腐橋」。一直叫到現在。