La maison a été construite entre 1636 et 1641 pour Jean-Maurice de Nassau, cousin du stadhouder Frédéric-Henri, pendant les années où il gouvernait le Brésil néerlandais. Jacob van Campen et Pieter Post l’ont conçue dans le style classique néerlandais, et l’intérieur était divisé en quatre appartements et une grande salle.
Sa vie de musée a commencé par étapes. Un incendie en 1704 a ravagé la plus grande partie de l’intérieur et emporté la coupole d’origine, et les travaux de restauration ont duré de 1708 à 1718. L’État néerlandais l’a acheté en 1820 pour y loger les tableaux royaux, l’a ouvert au public en 1822 et, à partir de 1875, a consacré tout le bâtiment à la peinture. Le noyau de la collection est l’ensemble des tableaux qui avaient appartenu au stadhouder Guillaume V, remis à l’État par son fils, le roi Guillaume Ier. Pendant l’occupation allemande, les œuvres, dont La Jeune Fille à la perle, ont d’abord été conservées dans un bunker à l’épreuve des bombes sous le musée, puis transférées dans les grottes de St Pietersberg, près de Maastricht, où elles sont restées jusqu’en mai 1945.
Parmi les tableaux les plus connus figurent deux de Johannes Vermeer, La Jeune Fille à la perle et Vue de Delft. Rembrandt est représenté par La Leçon d’anatomie du docteur Nicolaes Tulp et par un autoportrait de 1669, et le musée place son ensemble de Rembrandt au centre de son récit, aux côtés des Vermeer. Parmi les autres œuvres que l’on vient chercher figurent Le Chardonneret, daté de 1654, et Le Jeune Taureau de Paulus Potter, peint en 1647, ainsi que des paysages de Jacob van Ruisdael. La peinture flamande est aussi présente, avec Rubens, Brueghel et Rogier van der Weyden, ainsi que des portraits de Hans Holbein le Jeune.
Entre 2012 et 2014, le musée a été agrandi selon un projet de Hans van Heeswijk. Il a absorbé une partie du bâtiment voisin de la Sociëteit de Witte et relié les deux par un passage sous le Korte Vijverberg, et le roi Willem-Alexander l’a rouvert le 27 juin 2014. La même organisation gère aussi la Galerie du prince Guillaume V, où une galerie de tableaux publique a été installée pour la première fois en 1774. Le musée a publié son propre récit de la façon dont Jean-Maurice a participé à la traite des esclaves pendant qu’il gouvernait le Brésil néerlandais et dont ce commerce a bâti la richesse qui se trouve derrière sa maison.




