Fundado en 1862 como museo de la ciudad, creció a partir del arte que Haarlem había reunido desde el siglo XVI, y se trasladó al asilo en 1913. Sus fondos suman unos 17.000 objetos, cerca de la mitad de arte moderno, entre ellos unos 800 cuadros neerlandeses del siglo XVII.

El asilo se fundó en 1609 para hombres ancianos: sus casitas se agrupaban en torno a un patio, en cada una vivían dos hombres, y los residentes debían tener al menos 60 años y ser solteros. En el vestíbulo de entrada hay una estatua de un hombre con una hucha de limosnas, que recuerda las colectas semanales que tenían que hacer los residentes. Gran parte del conjunto se modificó después, pero las salas de los regentes se han amueblado con interiores rescatados de casas derribadas de Haarlem, y los pasillos están revestidos de azulejos neerlandeses recuperados, platería de Haarlem procedente de iglesias locales, vidrieras y relojes, sillas y arcones del siglo XVII.

Frans Hals nació en Amberes hacia 1582 y creció en Haarlem, donde ingresó en el gremio de pintores de San Lucas en 1610. Su primer gran retrato de grupo, de la milicia de San Jorge, llegó en 1616, y después pintó otros cuatro cuadros de milicias; los cinco cuelgan en el museo. Ya al final de su vida, con más de ochenta años, pintó a los regentes de este mismo asilo, y la pincelada suelta de estos retratos atrajo más tarde a Haarlem a jóvenes impresionistas; Manet y Van Gogh también vinieron a ver sus retratos de grupo.

En torno a Hals, el museo muestra a otros maestros de Haarlem como Judith Leyster, Cornelis van Haarlem, Jacob van Ruisdael y Hendrick Goltzius, así como el retrato de grupo de Jan van Scorel de una docena de peregrinos de Haarlem que habían viajado a Jerusalén y San Lucas pintando a la Virgen de Maarten van Heemskerck. La colección continúa desde 1880 hasta la obra contemporánea, con artistas como Jan Toorop, Isaac Israëls, Charley Toorop y Dana Lixenberg. Las familias pueden hacer una búsqueda del tesoro, disfrazarse de guardia cívica, crear su propio retrato de grupo o asomarse a la casa de muñecas.