Tahkimli surlarının ve kulelerinin ardında yaklaşık 15.000 metrekarelik bir taban alanı bulunuyor. 1995'ten beri UNESCO Dünya Mirası Alanı olan sarayda altı konklav toplandı ve 1334'te XII. Benedictus'tan 1394'te XIII. Benedictus'a kadar papalar seçildi.
Yapı aslında birleştirilmiş iki saraydan oluşuyor. Sade yaşamıyla bilinen XII. Benedictus eski piskoposluk sarayını yıktırdı ve bir revak avlusunun çevresinde, dört kanadı yüksek kulelerle korunan Palais Vieux'yü (Eski Saray) inşa ettirdi. Ondan çok daha gösterişli olan halefi VI. Clemens, Jean de Louvres'a yeni bir kule ve 52 metre uzunluğunda bir Büyük Şapel içeren Palais Neuf'ü (Yeni Saray) ekletti; VI. Innocentius ile V. Urbanus ana avluyu tamamladı. Papalar 1377'de Roma'ya döndü, ancak ardından gelen bölünme sırasında karşı papalar VII. Clemens ve XIII. Benedictus burada yaşadı; saray yüzyıllar boyunca papalık elçilerinin yönetiminde kaldı.
Özgün döşemelerden pek azı günümüze ulaştı. Devrimciler sarayı yağmaladı; saray ardından kışla ve hapishane olarak kullanıldı, ahşap işleri söküldü, birçok fresk örtülerek yok oldu. 1906'da ulusal müze oldu ve restorasyon o günden bu yana sürüyor. Buraya gelmenin nedeni, boyalı süslemelerden geriye kalanlar: VI. Clemens'in çalışma odası Chambre du Cerf (Geyik Odası), 14. yüzyıldan kalma av ve saray sahneleriyle kaplı; Saint-Martial şapelinde ve onun altındaki Saint-Jean şapelinde Matteo Giovannetti 1344–1345 ve 1347–1348 yıllarında bu azizlerin hayatlarını, hikâyeleri yanılsamalı boyalı mimari çerçeveler içine yerleştirerek resmetti.
Diğer salonlar papalık sarayının nasıl işlediğini gösteriyor. Bir kabul salonu olan Grand Tinel'de kardinaller konklavlar sırasında duvarla kapatılıyor, yalnızca yemek geçirmek için küçük bir açıklık bırakılıyordu. Grande Audience, sarayın başlıca mahkemelerinden biriydi; papalık adaleti burada boyalı bir Kıyamet sahnesinin altında dağıtılıyordu. Sarayın büyük törenlerine sahne olan Grande Chapelle ile birlikte Avignon'daki papalık gücünün kalbini oluşturuyordu. Avlu, her temmuz düzenlenen ve René Char'ın 1947'de Büyük Şapel'de düzenlediği bir sergiden doğan Festival d'Avignon'un ana sahnelerinden biri.
Saray ve papalık bahçeleri ziyareti yaklaşık iki saat sürüyor. Her akıllı telefonda kullanılabilen bir web uygulaması oda numaralarını izliyor ve içeriğini aralarında İngilizcenin de bulunduğu altı dilde sunuyor.




