Das ältere an der Paulus Potterstraat ist ein Bau der niederländischen Neorenaissance aus hellem Stein und rotem Backstein von Adriaan Willem Weissman, eröffnet am 14. September 1895. Mit ihm verbunden ist der Flügel aus dem 21. Jahrhundert von Benthem Crouwel Architects, „Die Badewanne“ genannt, der den heutigen Eingang enthält und mit dem renovierten Museum am 23. September 2012 eröffnet wurde.

Gegründet wurde das Museum von der Stadt und Privatleuten, und einen Großteil des ersten Gebäudes bezahlte Sophia Adriana de Bruyn, die ihre Sammlung von Kunst und Antiquitäten Amsterdam vermachte. Seinen Charakter als Museum moderner Kunst verdankt es vor allem Willem Sandberg, ab 1938 Kurator und ab 1945 Direktor. 1938 ließ er die Galeriewände mit weißem Jute bespannen, eine frühe Form des neutralen „White Cube“, und unter ihm begann das Museum, angewandte Kunst, Druckgrafik und Zeichnungen und ab 1956 Fotografie zu sammeln. Edy de Wilde, Direktor von 1963 bis 1985, begründete die Sammlung amerikanischer Gegenwartskunst, und ab Anfang der 1970er-Jahre kaufte das Museum Videokunst, die bis 2024 auf rund 900 Werke und Installationen angewachsen war, unter anderem von Bruce Nauman, Bill Viola und Nam June Paik.

Die Sammlung umfasst heute fast 90.000 Objekte, die seit 1874 zusammengetragen wurden, mit besonderen Schwerpunkten bei De Stijl, Bauhaus, CoBrA und Pop Art sowie einer umfangreichen Gruppe von Gemälden und Zeichnungen Kasimir Malewitschs. Werke des späten 19. Jahrhunderts von Paul Cézanne und Vincent van Gogh führen ins 20. Jahrhundert, mit Künstlern wie Henri Matisse, Wassily Kandinsky, Piet Mondrian, Marc Chagall, Ernst Ludwig Kirchner, Jackson Pollock, Karel Appel, Willem de Kooning, Andy Warhol, Lucio Fontana, Marlene Dumas und Gilbert & George. Design und Fotografie haben ihren eigenen Platz, darunter niederländische und internationale Avantgarde-Fotografen der Zwischenkriegszeit wie Man Ray und László Moholy-Nagy.

Höhepunkte der Sammlung hängen im alten Gebäude in wechselnden Präsentationen, während der neue Flügel – das Museum hat insgesamt 8.000 Quadratmeter Ausstellungsfläche – Wechselausstellungen auf seiner oberen Ebene und im Untergeschoss zeigt. Im Flügel befinden sich auch Shop, Restaurant, Bibliothek und ein Auditorium, und sein gläserner Eingang öffnet sich direkt zum Museumplein. Auch Grafikdesign gehört zur Geschichte des Museums: Ab 1963 baute Wim Crouwel dessen Plakate und Kataloge auf einem strengen Raster in der Schrift Univers auf, und das Logo, das bei der Wiedereröffnung 2012 eingeführt wurde, ist ein großes S aus den Buchstaben des Museumsnamens.