За его стенами хранится огромная коллекция работ на бумаге: около 65 000 рисунков и около миллиона старых гравюр, а также более поздняя графика, фотографии и архитектурные чертежи. Помимо этого ядра, у музея есть два постоянных займа картин — работы импрессионистов и искусство первых десятилетий XX века, часть которых всегда выставлена, — и он проводит временные выставки.

Здание начиналось как придворное строительное ведомство и в 1744 году было превращено во дворец для графа Silva-Tarouca, директора ведомства. Затем оно стало резиденцией Albert Casimir, герцога Тешенского, который привёз свою коллекцию графики из Брюсселя, где управлял Габсбургскими Нидерландами, и велел расширить дворец Louis Montoyer. Сама коллекция выросла из его знакомства с Giacomo Durazzo, генуэзским графом, служившим послом Австрии в Венеции, который в 1776 году подарил почти 1 000 работ Альберту и Марии Кристине, дочери Марии Терезии. Joseph Kornhäusel переделал интерьеры в 1820-х годах для эрцгерцога Карла.

После падения монархии государство приняло дворец и коллекцию в 1919 году, объединило гравюры и рисунки с коллекцией бывшей императорской придворной библиотеки в 1920 году и в 1921 году дало зданию название Альбертина. Бомбы сильно разрушили его в марте 1945 года; после послевоенной перестройки он был полностью обновлён между 1998 и 2003 годами, а новый входной комплекс с необычной крышей Hans Hollein появился в 2008 году. Коллекция Essl, купленная в 2018 году, добавила 1 323 современных произведения, среди них работы Maria Lassnig, Hermann Nitsch, Georg Baselitz, Cindy Sherman и Alex Katz, а с 2020 года отдельной площадкой, посвящённой современному искусству, служит Albertina modern.