Das Haus entstand zwischen 1636 und 1641 für Johann Moritz von Nassau, einen Vetter des Statthalters Friedrich Heinrich, in den Jahren, in denen er Niederländisch-Brasilien regierte. Jacob van Campen und Pieter Post entwarfen es im Stil des niederländischen Klassizismus, und innen war es in vier Appartements und einen großen Saal geteilt.
Sein Leben als Museum begann in Etappen. Ein Brand im Jahr 1704 zerstörte den größten Teil des Inneren und die ursprüngliche Kuppel, und die Wiederherstellung dauerte von 1708 bis 1718. Der niederländische Staat kaufte das Haus 1820 für die königlichen Gemälde, öffnete es 1822 für die Öffentlichkeit und überließ ab 1875 das ganze Gebäude den Bildern. Den Kern der Sammlung bilden die Gemälde, die Statthalter Wilhelm V. gehört hatten und die sein Sohn, König Wilhelm I., dem Staat schenkte. Während der deutschen Besatzung wurden die Werke, darunter Das Mädchen mit dem Perlenohrgehänge, zunächst in einem bombensicheren Bunker unter dem Museum aufbewahrt und dann in die Höhlen des St. Pietersberg bei Maastricht gebracht, wo sie bis Mai 1945 blieben.
Zu den bekanntesten Bildern hier gehören zwei von Johannes Vermeer, Das Mädchen mit dem Perlenohrgehänge und Ansicht von Delft. Rembrandt ist mit Die Anatomie des Dr. Nicolaes Tulp und einem Selbstbildnis von 1669 vertreten, und das Museum stellt seine Rembrandt-Gruppe neben den Vermeers in den Mittelpunkt seiner Erzählung. Weitere Werke, derentwegen Besucher kommen, sind Der Distelfink von 1654 und Der junge Stier von Paulus Potter aus dem Jahr 1647, dazu Landschaften von Jacob van Ruisdael. Auch flämische Malerei ist vertreten, mit Rubens, Brueghel und Rogier van der Weyden, ebenso Porträts von Hans Holbein dem Jüngeren.
Zwischen 2012 und 2014 wurde das Museum nach Plänen von Hans van Heeswijk erweitert. Es übernahm einen Teil des benachbarten Gebäudes der Sociëteit de Witte und verband beide durch einen Gang unter dem Korte Vijverberg; König Willem-Alexander eröffnete es am 27. Juni 2014 wieder. Dieselbe Organisation betreibt auch die Galerie Prinz Willem V., in der 1774 erstmals eine öffentliche Gemäldegalerie eingerichtet wurde. Das Museum hat eine eigene Darstellung darüber veröffentlicht, wie Johann Moritz während seiner Regierung in Niederländisch-Brasilien am Sklavenhandel beteiligt war und wie dieser Handel den Reichtum hinter seinem Haus begründete.




