La casa se construyó entre 1636 y 1641 para Juan Mauricio de Nassau, primo del estatúder Federico Enrique, durante los años en que gobernó el Brasil neerlandés. La diseñaron Jacob van Campen y Pieter Post en el estilo clasicista neerlandés, y por dentro se dividía en cuatro apartamentos y un gran salón.
Su vida como museo empezó por etapas. Un incendio en 1704 destruyó la mayor parte del interior y se llevó la cúpula original, y las obras de restauración duraron de 1708 a 1718. El Estado neerlandés la compró en 1820 para albergar los cuadros reales, la abrió al público en 1822 y desde 1875 dedicó todo el edificio a la pintura. El núcleo de la colección es el conjunto de cuadros que había pertenecido al estatúder Guillermo V, regalado al Estado por su hijo, el rey Guillermo I. Durante la ocupación alemana las obras, entre ellas La joven de la perla, se guardaron primero en un búnker a prueba de bombas bajo el museo y luego se trasladaron a las cuevas de St Pietersberg, a las afueras de Maastricht, donde permanecieron hasta mayo de 1945.
Entre los cuadros más conocidos de la casa hay dos de Johannes Vermeer, La joven de la perla y Vista de Delft. Rembrandt está representado por La lección de anatomía del doctor Nicolaes Tulp y por un autorretrato de 1669, y el museo sitúa su conjunto de Rembrandts en el centro de su relato junto a los Vermeer. Otras obras que la gente viene a buscar son El jilguero, fechado en 1654, y El toro joven de Paulus Potter, pintado en 1647, además de paisajes de Jacob van Ruisdael. La pintura flamenca también está presente, con Rubens, Brueghel y Rogier van der Weyden, así como retratos de Hans Holbein el Joven.
Entre 2012 y 2014 el museo se amplió según un proyecto de Hans van Heeswijk. Ocupó parte del edificio vecino de la Sociëteit de Witte y unió ambos con un pasaje bajo el Korte Vijverberg, y el rey Guillermo Alejandro lo reabrió el 27 de junio de 2014. La misma organización gestiona también la Galería del Príncipe Guillermo V, donde en 1774 se instaló la primera galería pública de pinturas. El museo ha publicado su propio relato de cómo Juan Mauricio participó en la trata de esclavos mientras gobernaba el Brasil neerlandés y de cómo esa trata generó la riqueza que hay detrás de su casa.




