Tras sus muros hay una enorme colección de obras sobre papel: unos 65.000 dibujos y alrededor de un millón de grabados de maestros antiguos, junto con artes gráficas posteriores, fotografías y dibujos de arquitectura. Además de este núcleo, el museo tiene dos préstamos permanentes de pintura, obras impresionistas y arte de las primeras décadas del siglo XX, parte de los cuales está siempre expuesta, y organiza exposiciones temporales.

El edificio fue en origen la oficina de obras de la corte y en 1744 se convirtió en palacio para el conde Silva-Tarouca, director de esa oficina. Después pasó a ser la residencia de Alberto Casimiro, duque de Teschen, que trajo su colección de grabados de Bruselas, donde había gobernado los Países Bajos de los Habsburgo, y mandó ampliar el palacio a Louis Montoyer. La colección nació de su relación con Giacomo Durazzo, un conde genovés que era enviado de Austria en Venecia y que en 1776 regaló casi 1.000 obras a Alberto y a María Cristina, hija de María Teresa. Joseph Kornhäusel reformó los interiores en la década de 1820 para el archiduque Carlos.

Tras la caída de la monarquía, el Estado se hizo cargo del palacio y de la colección en 1919, unió en 1920 los grabados y dibujos con los de la antigua biblioteca de la corte imperial y dio al edificio el nombre de Albertina en 1921. Las bombas lo alcanzaron con dureza en marzo de 1945; tras la reconstrucción de posguerra se renovó por completo entre 1998 y 2003, y en 2008 se añadió una nueva entrada con un característico tejado de Hans Hollein. La Colección Essl, adquirida en 2018, sumó 1.323 piezas contemporáneas, entre ellas obras de Maria Lassnig, Hermann Nitsch, Georg Baselitz, Cindy Sherman y Alex Katz, y desde 2020 una sede independiente, Albertina modern, está dedicada al arte moderno.