Sarayı 15. yüzyılın ortasında Floransalı bankacı Luca Pitti yaptırdı; Medici ailesinden Dük I. Cosimo ile eşi Toledolu Eleonora sarayı yeni grandük ikametgâhı olarak satın aldıktan sonra da Pitti'nin adı üzerinde kaldı. Burada sırasıyla üç hanedan yaşadı: Medici'ler, 1737'den itibaren Habsburg-Lorraine'ler ve son olarak İtalya kralları olarak Savoia Hanedanı. III. Vittorio Emanuele 1919'da sarayı ve içindekileri millete bağışladı; saray, UNESCO listesindeki Floransa Tarihî Merkezi'nin bir parçası.

Yedi kemerli açıklık sıralarından oluşan özgün blok, Medici'ler taşındıktan sonra iki katından fazla büyütüldü. Bartolommeo Ammanati, cephenin arkasına ağır, kuşaklı taş işçiliği geniş çapta taklit edilen avluyu ve sarayın arkasında düzenlenen Boboli Bahçeleri'ne açılan, Musa'nın porfir heykelinin bulunduğu bir mağara ekledi. Giorgio Vasari, Grandük'ün Palazzo Vecchio'dan Uffizi'nin içinden ve Ponte Vecchio'nun üzerinden yeni evine yürümesini sağlayan yükseltilmiş koridoru yaptı.

Saray bugün üç katta beş müzeye ev sahipliği yapıyor. Galleria Palatina ve kraliyet daireleri piano nobile'yi dolduruyor; Modern Sanat Galerisi ile Moda ve Kostüm Müzesi ikinci katta; zemin katta ise Grandüklerin Hazinesi, Rus İkonaları Müzesi ve Saray Şapeli var. Galleria Palatina bir prens konutunun havasını koruyor: 500'ü aşkın resim tarihsel sırayla değil, onlar için tasarlanmış görkemli salonlara asılmış. Öne çıkan eserler arasında Raffaello'nun Madonna della Seggiola ve La Velata'sı, Tiziano'nun La Bella'sı ve Rubens'in Savaşın Sonuçları var; Pietro da Cortona da Venüs, Apollon, Mars, Jüpiter ve Satürn'ün adını taşıyan beş Gezegen Salonu'nun tavanlarını süsledi.

Savoia kralları tarafından yeniden dekore edilen kraliyet dairelerinde kırmızı brokarla kaplı bir taht salonu ve Justus Sustermans'ın Medici portrelerinin bulunduğu daha küçük odalar yer alıyor. Üst kattaki Modern Sanat Galerisi 20. yüzyılın başına kadarki İtalyan resmini, özellikle de Giovanni Fattori'nin önderliğindeki Toskanalı Macchiaioli'yi kapsıyor; kostüm müzesi ise I. Cosimo ile Toledolu Eleonora'nın cenaze giysileri dahil 16. yüzyıldan bu yana giysileri sergiliyor. Medici'lerin eski yazlık dairesi olan Hazine; gümüş eşyaları, fildişi işleri, kameoları ve Lorenzo de' Medici'nin topladığı sert taş vazoları sergiliyor.

Piazza Pitti'deki giriş yaklaşık yüzde 20 eğimli bir rampayla yükseliyor; avlunun sağındaki asansörler birinci ve ikinci katlara hizmet veriyor.