Основанный в 1862 году как городской музей, он вырос из искусства, которое Харлем собирал с XVI века, а в богадельню переехал в 1913 году. В его фондах около 17 000 предметов, примерно половина — современное искусство, в том числе около 800 нидерландских картин XVII века.
Богадельню основали в 1609 году для пожилых мужчин: её домики были сгруппированы вокруг двора, в каждом жили по двое, а жильцам должно было быть не меньше 60 лет и они не должны были состоять в браке. В вестибюле стоит статуя мужчины с ящиком для пожертвований — напоминание о еженедельных сборах, которые обязаны были проводить жильцы. Многое в комплексе позднее переделали, но в комнатах регентов устроены интерьеры, спасённые из снесённых харлемских домов, а коридоры облицованы спасёнными нидерландскими изразцами, украшены харлемским серебром из местных церквей, витражами, а также часами, стульями и сундуками XVII века.
Франс Халс родился в Антверпене около 1582 года и вырос в Харлеме, где в 1610 году вступил в гильдию художников Sint-Lucas. Его первый большой групповой портрет, ополчения святого Георгия, появился в 1616 году, и он написал ещё четыре портрета ополчений; все пять висят в музее. В конце жизни, когда ему было за восемьдесят, он написал регентов этой самой богадельни, и свободная манера письма этих портретов позднее привлекла в Харлем молодых импрессионистов; Мане и Ван Гог также приезжали посмотреть его групповые портреты.
Вокруг Халса в музее показаны другие харлемские мастера, такие как Judith Leyster, Cornelis van Haarlem, Якоб ван Рейсдал и Hendrick Goltzius, а также групповой портрет работы Jan van Scorel с дюжиной харлемских паломников, побывавших в Иерусалиме, и «Святой Лука, пишущий Богоматерь» Maarten van Heemskerck. Собрание продолжается с 1880 года до современных работ, среди художников — Jan Toorop, Isaac Israëls, Charley Toorop и Dana Lixenberg. Семьи могут пройти квест по музею, нарядиться в члена городской стражи, составить собственный групповой портрет или заглянуть в кукольный дом.




