Duvarlar Aquia Creek kumtaşından; bina bittiğinde gözenekli taş kireç, pirinç tutkalı, kazein ve kurşundan yapılmış bir badanayla kaplandı ve bu renk zamanla eve adını verdi. Theodore Roosevelt 1901'de “The White House” (Beyaz Saray) adını resmîleştirdi.

Ev birden fazla kez yeniden inşa edildi. 24 Ağustos 1814'te, 1812 Savaşı sırasında İngiliz kuvvetleri Washington'ın Yakılışı'nda binayı ateşe verdi; geriye yalnızca dış duvarlar kaldı ve bunların da çoğunun yıkılması gerekti. Yeniden yapımı 1815'ten 1817'ye kadar Hoban ve Latrobe yönetti. Kavisli Güney Revakı 1824'te, Kuzey Revakı da 1830'da eklendi; Kuzey Revakı'nın taşını Kongre Binası'nda çalışmaya gelen İtalyan zanaatkârlar oydu. 1948'e gelindiğinde yapının çökme tehlikesi taşıdığına karar verildi ve Harry S. Truman döneminde iç kısım tamamen söküldü, eski duvarların içine çelik bir iskelet yerleştirildi ve odalar bu iskeletin içinde yeniden inşa edildi; Truman ailesi bu sırada caddenin karşısındaki Blair House'ta yaşadı.

Pennsylvania Avenue'dan bakıldığında kuzey cepheye, kapının üzerinde yelpaze biçimli bir pencere ve oyma bir çiçek çelengi bulunan, İon sütunlu bir araba girişinin altından giriliyor; bu revaktaki İon başlıklarının sarmalları arasında, girişin üzerindeki daha eski oyma güllerle uyumlu bir gül çelengi var. Güney cephe daha hareketli: Palladio tarzında kaba yontu taşlı bir zemin kat, ortada üç bölmeli çıkıntılı bir yarım daire ve sütunlu bir locaya ve Truman Balkonu'na çıkan çift kollu bir merdiven. Arazi on sekiz akreden biraz fazla; Frederick Law Olmsted Jr.'ın 1935 tarihli planına göre düzenlenmiş, Batı Sütunlu Galerisi'nin yanında Gül Bahçesi yer alıyor.

Kompleksin bugünkü merkezi, 132 odalı altı katlı Executive Residence (Başkanlık Konutu); Jefferson'ın sütunlu galerileriyle Oval Ofis'in, Kabine Odası'nın ve basın brifing odasının bulunduğu Batı Kanadı'na bağlanıyor. Devlet Katı'nda resepsiyonlarda kullanılan odalar var: Doğu Odası, Yeşil, Mavi ve Kırmızı Odalar, Devlet Yemek Salonu ve Büyük Merdiven. Jacqueline Kennedy, Kennedy yıllarında bunların birkaçına tarihî bir tema verdi; örneğin Mavi Oda için Fransız Ampir, Yeşil Oda için Federal üslup. 1961'de Kongre, mobilyaları ve sanat eserleri artık satılamasın diye evi müze ilan etti. Zemin kattaki Diplomatik Kabul Odası'nda Zuber & Cie'nin 1834'te tasarladığı “Vue de l'Amérique Nord” duvar kâğıdı korunuyor.

Thomas Jefferson halkın evi gezmesine izin verdi; turlar onun döneminden beri, savaş zamanları dışında sürüyor. 11 Eylül saldırılarından sonra bir süre askıya alındı. Tur grupları evin doğu tarafındaki bir güvenlik binasından giriyor. 1995'ten beri Pennsylvania Avenue'nun evin önündeki bölümü araç trafiğine kapalı.