Phủ Toàn Quyền (nay là Phủ Chủ tịch) xây dựng năm 1902. Công trình mang phong cách cổ điển Châu Âu do Kiến trúc sư Vildieu thiết kế, xây dựng mất hơn 5 năm.
Nguyên thủy, nhà thờ này có tên là Nhà thờ Thánh Giuse (Saint Joseph) do vào năm 1678, Giáo hoàng Innocentius...