Tương truyền, lai lịch của ngôi chùa này gắn liền với truyền thuyết quái vật Namazu - một thủy quái trong truyền thuyết của Nhật Bản. Con quái thú này có đầu nằm ở Ấn Độ, thân ở Việt Nam, còn đuôi thì chạy tuốt sang Nhật. Vậy nên mỗi lần nó cựa mình, thảm họa như lũ lụt, động đất... sẽ xảy ra...