Vào những năm cuối thế kỷ 14, nơi đây là một lâu đài nhỏ được gọi là Neuveste, là nơi trú ẩn của hoàng gia Bayern khi Cung điện Cũ (Alter Hof) đã không còn được an toàn trong cuộc nổi dậy của người dân München. Lâu đài này có hào nước bao bọc chung quanh, duy nhất chỉ có một chiếc cầu nối liền dinh thự với thành phố. Dưới thời Công tước Wilhelm IV của Bayern (1493 - 1550) lâu đài mới thay thế cho Cung điện Cũ trở thành nơi ngự trị của các công tước Bayern.
