Дом был построен с 1636 по 1641 год для Иоганна Морица Нассауского, двоюродного брата статхаудера Фредерика Хендрика, в годы, когда тот управлял Голландской Бразилией. Jacob van Campen и Pieter Post спроектировали его в стиле нидерландского классицизма, а внутри он был разделён на четыре апартамента и большой зал.

Его жизнь как музея началась поэтапно. Пожар 1704 года уничтожил большую часть интерьера и унёс первоначальный купол, а восстановительные работы шли с 1708 по 1718 год. Нидерландское государство купило здание в 1820 году, чтобы разместить в нём королевские картины, открыло его для публики в 1822 году, а с 1875 года отдало всё здание под картины. Ядро собрания — группа картин, принадлежавших статхаудеру Виллему V и переданных государству его сыном, королём Виллемом I. Во время немецкой оккупации работы, среди них «Девушка с жемчужной серёжкой», сначала хранили в бомбоустойчивом бункере под музеем, а затем перевезли в пещеры St Pietersberg близ Маастрихта, где они оставались до мая 1945 года.

Среди самых известных картин — две работы Йоханнеса Вермеера: «Девушка с жемчужной серёжкой» и «Вид Делфта». Рембрандт представлен «Уроком анатомии доктора Николаса Тюльпа» и автопортретом 1669 года, а музей ставит группу работ Рембрандта в центр своего рассказа наряду с Вермеерами. Среди других работ, ради которых сюда приходят, — «Щегол» 1654 года и «Молодой бык» Паулюса Поттера, написанный в 1647 году, а также пейзажи Якоба ван Рейсдала. Представлена и фламандская живопись — Рубенс, Брейгель и Рогир ван дер Вейден, а также портреты Ганса Гольбейна Младшего.

С 2012 по 2014 год музей расширили по проекту Hans van Heeswijk. Он занял часть соседнего здания Sociëteit de Witte, и два здания соединили проходом под Korte Vijverberg; король Виллем-Александр вновь открыл его 27 июня 2014 года. Та же организация управляет и галереей принца Виллема V, где в 1774 году впервые устроили публичную картинную галерею. Музей опубликовал собственный рассказ о том, как Иоганн Мориц участвовал в работорговле, управляя Голландской Бразилией, и как эта торговля создала богатство, на котором был построен его дом.