За его укреплёнными стенами и башнями находится около 15 000 квадратных метров площади. С 1995 года он входит в список Всемирного наследия ЮНЕСКО, и здесь собирались шесть конклавов, избиравших пап от Бенедикта XII в 1334 году до Бенедикта XIII в 1394 году.

Здание на самом деле представляет собой два соединённых дворца. Строгий Бенедикт XII снёс старый епископский дворец и построил Старый дворец вокруг клуатра, четыре крыла которого охраняют высокие башни. Его преемник Климент VI, гораздо более расточительный, поручил Jean de Louvres добавить Новый дворец с новой башней и Большой капеллой длиной 52 метра; Иннокентий VI и Урбан V завершили главный двор. Папы вернулись в Рим в 1377 году, но во время последовавшего раскола здесь жили антипапы Климент VII и Бенедикт XIII, а дворец ещё на протяжении веков оставался под властью папских легатов.

От первоначального убранства уцелело немногое. Революционеры разграбили дворец, затем он служил казармами и тюрьмой, его деревянные части вынесли, а многие фрески закрыли и утратили. Национальным музеем он стал в 1906 году, и реставрация с тех пор не прекращается. То, что осталось от живописного убранства, и есть причина приехать: Chambre du Cerf, кабинет Климента VI, покрыт охотничьими и придворными сценами XIV века, а в часовне Saint-Martial и в часовне Saint-Jean под ней Matteo Giovannetti написал жития их святых в 1344–1345 и 1347–1348 годах, поместив сюжеты в иллюзорную нарисованную архитектуру.

Другие помещения показывают, как работал папский двор. В Grand Tinel, приёмном зале, кардиналов во время конклавов замуровывали, оставляя лишь небольшое отверстие для передачи еды. Grande Audience был одним из главных судов дворца, где папское правосудие вершилось под росписью с изображением Страшного суда, и вместе с Grande Chapelle, местом главных церемоний двора, составлял сердце папской власти в Авиньоне. Двор — главная сцена Авиньонского фестиваля каждый июль, который вырос из выставки, организованной René Char в Большой капелле в 1947 году.

Осмотр дворца и папских садов занимает около двух часов. Веб-приложение, работающее на любом смартфоне, следует за номерами залов и предлагает своё содержание на шести языках, включая английский.