Его истоки восходят к собранию Amerbach Cabinet, включавшему работы Ганса Гольбейна, которое в 1661 году совместно приобрели университет и город Базель; в 1671 году город открыл его для публики в доме zur Mücke рядом с Базельским мюнстером. Коллекция выросла благодаря присоединённому к ней в 1823 году музею Faesch, а в 1936 году переехала в нынешнее здание, главный корпус по проекту Paul Bonatz и Rudolf Christ. Швейцария относит музей к объектам наследия национального значения.

Выделяются две сильные стороны: живопись и графика Верхнего Рейна между 1400 и 1600 годами и искусство с XIX века до наших дней. В первых залах собраны работы семьи Гольбейнов рядом с произведениями Маттиаса Грюневальда, Конрада Вица, Лукаса Кранаха Старшего, Мартина Шонгауэра и Ханса Бальдунга Грина, затем следует фламандская и голландская живопись Рубенса, Рембрандта и Яна Брейгеля Старшего. XIX век представляют Мане, Моне, Гоген, Сезанн и Ван Гог вместе с двумя швейцарскими художниками, Фердинандом Ходлером и Арнольдом Бёклином. Для XX века упор сделан на кубизм с Пикассо, Браком и Хуаном Грисом, а также есть большие группы работ Пауля Клее, Фернана Леже, Альберто Джакометти и Марка Шагала.

Современное искусство представлено Йозефом Бойсом, Энди Уорхолом, Джаспером Джонсом, Брюсом Науманом, Георгом Базелицем, Розмари Трокель, Робертом Гобером и многими другими. В 1939 году при директоре George Schmidt музей приобрёл много работ немецко-еврейских художников, которых нацистский режим объявил дегенеративными, и эти работы по-прежнему висят в музее. Во внутреннем дворе перед зданием и в аркаде постоянной работой под открытым небом является «Без названия (памяти Урса Графа)» Дэна Флавина, установленная в 1975 году.

Через Dufourstrasse стоит новое здание местной фирмы Christ & Gantenbein, завершённое в апреле 2016 года: угловатый блок с облицовкой из бетонных кирпичей, построенный той же высоты, что и главный корпус музея, и соединённый с ним подземным переходом. Оно добавило 2 750 квадратных метров галерей, доведя общую площадь почти до 10 000. В главном здании сейчас показано искусство с XV века до 1950 года, а в новом — более поздние работы, с временными выставками на верхнем этаже. Третья площадка, Музей современного искусства, с 1980 года находится у Рейна, в районе St. Alban.