Fondé en 1862 comme musée de la ville, il est issu des œuvres d’art que Haarlem collectionnait depuis le XVIe siècle, et il a emménagé dans l’hospice en 1913. Ses fonds comptent quelque 17 000 objets, dont environ la moitié d’art moderne, et notamment environ 800 tableaux néerlandais du XVIIe siècle.

L’hospice a été fondé en 1609 pour des hommes âgés : ses petites maisons étaient regroupées autour d’une cour, deux hommes vivaient dans chacune, et les résidents devaient avoir au moins 60 ans et être célibataires. Une statue d’un homme tenant un tronc pour les pauvres, qui rappelle les quêtes hebdomadaires que devaient faire les résidents, se dresse dans le hall d’entrée. Une grande partie de l’ensemble a été modifiée par la suite, mais les salles des régents ont été aménagées avec des intérieurs sauvés de maisons de Haarlem démolies, et les couloirs sont tapissés de carreaux néerlandais récupérés, d’argenterie de Haarlem provenant d’églises locales, de vitraux et d’horloges, de chaises et de coffres du XVIIe siècle.

Frans Hals est né à Anvers vers 1582 et a grandi à Haarlem, où il a rejoint la guilde des peintres de Saint-Luc en 1610. Son premier grand portrait de groupe, celui de la milice de Saint-Georges, a suivi en 1616, et il a peint ensuite quatre autres portraits de milices ; les cinq sont accrochés au musée. À la fin de sa vie, dans la quatre-vingtaine, il a peint les régents de cet hospice même, et la touche libre de ces portraits a plus tard attiré de jeunes impressionnistes à Haarlem ; Manet et Van Gogh sont aussi venus voir ses portraits de groupe.

Autour de Hals, le musée présente d’autres maîtres de Haarlem comme Judith Leyster, Cornelis van Haarlem, Jacob van Ruisdael et Hendrick Goltzius, ainsi que le portrait de groupe de Jan van Scorel représentant une douzaine de pèlerins de Haarlem qui s’étaient rendus à Jérusalem et Saint Luc peignant la Vierge de Maarten van Heemskerck. La collection se poursuit de 1880 jusqu’à l’art contemporain, avec des artistes comme Jan Toorop, Isaac Israëls, Charley Toorop et Dana Lixenberg. Les familles peuvent participer à une chasse au trésor, se déguiser en garde civique, réaliser leur propre portrait de groupe ou regarder la maison de poupée.