Tras sus murallas y torres fortificadas se extienden unos 15.000 metros cuadrados de superficie. Es Patrimonio Mundial de la UNESCO desde 1995, y aquí se reunieron seis cónclaves, que eligieron papas desde Benedicto XII en 1334 hasta Benedicto XIII en 1394.
En realidad el edificio son dos palacios unidos. El austero Benedicto XII derribó el antiguo palacio episcopal y construyó el Palais Vieux alrededor de un claustro, con sus cuatro alas protegidas por altas torres. Su sucesor, Clemente VI, mucho más fastuoso, encargó a Jean de Louvres el Palais Neuf, con una nueva torre y una Gran Capilla de 52 metros de largo; Inocencio VI y Urbano V terminaron el patio principal. Los papas regresaron a Roma en 1377, pero durante el cisma que siguió vivieron aquí los antipapas Clemente VII y Benedicto XIII, y el palacio permaneció bajo legados papales durante siglos.
Del mobiliario original se conservó poco. Los revolucionarios saquearon el palacio, que después sirvió de cuartel y de prisión; se arrancaron sus maderas y muchos frescos quedaron cubiertos y se perdieron. Se convirtió en museo nacional en 1906 y desde entonces no ha dejado de restaurarse. Lo que queda de la decoración pintada es el motivo de la visita: la Chambre du Cerf, el estudio de Clemente VI, está cubierta de escenas de caza y de corte del siglo XIV, y en la capilla de Saint-Martial y en la capilla de Saint-Jean, situada debajo, Matteo Giovannetti pintó las vidas de sus santos en 1344–1345 y 1347–1348, enmarcando las historias en arquitecturas pintadas ilusionistas.
Otras salas muestran cómo funcionaba la corte papal. En el Grand Tinel, una sala de recepciones, se tapiaba a los cardenales durante los cónclaves, dejando solo una pequeña abertura para pasarles la comida. La Grande Audience era uno de los principales tribunales del palacio, donde se impartía la justicia papal bajo una escena pintada del Juicio Final, y junto con la Grande Chapelle, escenario de las grandes ceremonias de la corte, formaba el corazón del poder papal en Aviñón. El patio es uno de los escenarios principales del Festival de Aviñón cada mes de julio, un festival que nació de una exposición que René Char organizó en la Gran Capilla en 1947.
La visita al palacio y a los jardines papales dura unas dos horas. Una aplicación web utilizable en cualquier smartphone sigue la numeración de las salas y ofrece su contenido en seis idiomas, entre ellos el inglés.




