Sein Bestand umfasst rund 17.000 Objekte, etwa die Hälfte davon moderne Kunst, darunter etwa 800 niederländische Gemälde des 17. Jahrhunderts.
Das Armenhaus wurde 1609 für alte Männer gegründet: Seine kleinen Häuser gruppierten sich um einen Innenhof, in jedem lebten zwei Männer, und die Bewohner mussten mindestens 60 Jahre alt und unverheiratet sein. In der Eingangshalle steht die Statue eines Mannes mit einer Armenbüchse, die an die wöchentlichen Sammlungen erinnert, die die Bewohner durchführen mussten. Ein Großteil der Anlage wurde später verändert, doch die Regentenzimmer wurden mit Interieurs aus abgerissenen Haarlemer Häusern ausgestattet, und die Gänge sind mit geretteten niederländischen Fliesen, Haarlemer Silber aus örtlichen Kirchen, Glasmalereien sowie Uhren, Stühlen und Truhen aus dem 17. Jahrhundert ausgestattet.
Frans Hals wurde um 1582 in Antwerpen geboren und wuchs in Haarlem auf, wo er 1610 der Malergilde Sint-Lucas beitrat. Sein erstes großes Gruppenporträt, das der Schützengilde des heiligen Georg, folgte 1616, und er malte vier weitere Schützenstücke; alle fünf hängen im Museum. Spät im Leben, mit über achtzig, malte er die Regenten eben dieses Armenhauses, und die lockere Pinselführung dieser Porträts lockte später junge Impressionisten nach Haarlem; auch Manet und Van Gogh kamen, um seine Gruppenporträts zu sehen.
Rund um Hals zeigt das Museum weitere Haarlemer Meister wie Judith Leyster, Cornelis van Haarlem, Jacob van Ruisdael und Hendrick Goltzius, dazu Jan van Scorels Gruppenporträt von einem Dutzend Haarlemer Pilger, die nach Jerusalem gereist waren, und Maarten van Heemskercks Der heilige Lukas malt die Madonna. Die Sammlung setzt sich ab 1880 bis zu zeitgenössischen Werken fort, mit Künstlern wie Jan Toorop, Isaac Israëls, Charley Toorop und Dana Lixenberg. Familien können an einer Schnitzeljagd teilnehmen, sich als Schützen verkleiden, ein eigenes Gruppenporträt machen oder ins Puppenhaus schauen.




