Toen De Quay van 1946 tot 1959 Commissaris van de Koningin van Noord-Brabant was, was dit zijn ambtswoning. Die functie had het pand al in 1814. Oorspronkelijk lag op deze plek een jezuïetenklooster. Eind 18e eeuw was het gebouw een paar jaar in gebruik als ziekenhuis voor Franse soldaten. Sinds 1987 is hier het Noordbrabants Museum gevestigd.