Duvarlarının ardında kâğıt üzerine eserlerden oluşan devasa bir koleksiyon var: yaklaşık 65.000 desen ve aşağı yukarı bir milyon eski usta baskısı, ayrıca daha sonraki dönemlerin grafik sanatı, fotoğraflar ve mimari çizimler. Bu çekirdeğin yanında müzede, Empresyonist eserler ve 20. yüzyılın ilk on yıllarının sanatından oluşan iki kalıcı resim ödünç koleksiyonu var; bunların bir kısmı her zaman sergide. Müze ayrıca geçici sergiler düzenliyor.

Bina saray inşaat dairesi olarak başladı ve 1744'te dairenin müdürü Kont Silva-Tarouca için bir saraya dönüştürüldü. Ardından, Habsburg Hollandası'nı yönettiği Brüksel'den grafik koleksiyonunu getiren ve sarayı Louis Montoyer'e genişlettiren Teschen Dükü Albert Casimir'in konutu oldu. Koleksiyonun kendisi, Albert'in Avusturya'nın Venedik elçisi olarak görev yapan Cenevizli kont Giacomo Durazzo ile kurduğu ilişkiden doğdu; Durazzo 1776'da Albert'e ve Maria Theresa'nın kızı Maria Christina'ya yaklaşık 1.000 eser armağan etti. Joseph Kornhäusel 1820'lerde Arşidük Karl için iç mekânları yeniden düzenledi.

Monarşinin yıkılmasından sonra devlet 1919'da hem sarayı hem koleksiyonu devraldı, 1920'de baskıları ve desenleri eski imparatorluk saray kütüphanesininkilerle birleştirdi ve 1921'de binaya Albertina adını verdi. Mart 1945'teki bombalar binayı ağır biçimde vurdu; savaş sonrası yeniden inşanın ardından 1998 ile 2003 arasında baştan sona yenilendi, 2008'de de Hans Hollein'in tasarladığı kendine özgü bir çatıya sahip yeni bir giriş düzeni eklendi. 2018'de satın alınan Essl Koleksiyonu, aralarında Maria Lassnig, Hermann Nitsch, Georg Baselitz, Cindy Sherman ve Alex Katz'ın da bulunduğu 1.323 çağdaş eser kazandırdı; 2020'den beri ayrı bir mekân olan Albertina modern, modern sanata ayrılmış durumda.