Более старое, на Paulus Potterstraat, — нидерландское здание в стиле неоренессанса из светлого камня и красного кирпича работы Adriaan Willem Weissman, открытое 14 сентября 1895 года. К нему пристроено крыло XXI века работы Benthem Crouwel Architects, прозванное «Ванной», где находится нынешний вход и которое открылось вместе с обновлённым музеем 23 сентября 2012 года.

Музей основали город и частные жители, а значительную часть первого здания оплатила Sophia Adriana de Bruyn, подарившая Амстердаму свою коллекцию искусства и антиквариата. Характер музея современного искусства ему придал прежде всего Willem Sandberg, куратор с 1938 года и директор с 1945 года. В 1938 году он велел обтянуть стены галерей белым джутом — ранний вариант нейтрального «белого куба», а при нём музей начал собирать прикладное искусство, гравюры и рисунки и, с 1956 года, фотографию. Edy de Wilde, директор с 1963 по 1985 год, положил начало коллекции американского современного искусства, а с начала 1970-х годов музей покупал видеоарт, которого к 2024 году набралось около 900 работ и инсталляций, среди авторов — Bruce Nauman, Билл Виола и Нам Джун Пайк.

Сейчас собрание насчитывает почти 90 000 предметов, собранных с 1874 года, и особенно сильно в нём представлены «Де Стейл», Баухаус, CoBrA и поп-арт, а также обширная группа картин и рисунков Казимира Малевича. Работы конца XIX века Поля Сезанна и Винсента ван Гога ведут в XX век с такими художниками, как Анри Матисс, Василий Кандинский, Пит Мондриан, Марк Шагал, Эрнст Людвиг Кирхнер, Джексон Поллок, Карел Аппель, Виллем де Кунинг, Энди Уорхол, Лучо Фонтана, Marlene Dumas и Gilbert & George. Дизайн и фотография также занимают своё место, в том числе нидерландские и международные фотографы-авангардисты межвоенных лет, такие как Ман Рэй и Ласло Мохой-Надь.

Главные произведения собрания показывают в старом здании в экспозициях, которые со временем меняются, а новое крыло, где общая выставочная площадь музея составляет 8 000 квадратных метров, принимает временные выставки на верхнем уровне и в подвале. В крыле находятся также магазин, ресторан, библиотека и аудитория, а его стеклянный вход выходит прямо на Museumplein. Графический дизайн — тоже часть истории самого музея: с 1963 года Wim Crouwel строил его афиши и каталоги на строгой сетке со шрифтом Univers, а логотип, представленный при открытии в 2012 году, — большая буква S, составленная из букв названия музея.