Ирландский по рождению архитектор James Hoban выиграл конкурс проектов 1792 года, и в его проекте использованы детали Leinster House в Дублине, например верхние окна, где чередуются треугольные и сегментные фронтоны. Стены сложены из песчаника Aquia Creek; когда здание было закончено, пористый камень покрыли побелкой из извести, рисового клея, казеина и свинца, и этот цвет в конце концов дал дому название. Теодор Рузвельт сделал «Белый дом» официальным названием в 1901 году.

Дом перестраивали не раз. 24 августа 1814 года, во время войны 1812 года, британские войска подожгли его при сожжении Вашингтона, оставив лишь внешние стены, и большую их часть пришлось снести; Hoban и Latrobe руководили восстановлением с 1815 по 1817 год. Изогнутый Южный портик появился в 1824 году, а Северный портик — в 1830 году, его камень вырезали итальянские мастера, приехавшие работать над Капитолием. К 1948 году конструкцию сочли находящейся под угрозой обрушения, и при Гарри Трумэне интерьер полностью выпотрошили, внутри старых стен установили стальной каркас и перестроили комнаты внутри него, пока Трумэны жили в Blair House через улицу.

Если смотреть с Pennsylvania Avenue, северный фасад имеет вход под портиком для подъезда экипажей с ионическими колоннами, с веерным окном и резной цветочной гирляндой над дверью; ионические капители на этом портике несут гирлянду из роз между волютами, перекликающуюся с более старыми резными розами над входом. Южная сторона разнообразнее: рустованный первый этаж в палладианской манере, выступающий полукруглый выступ из трёх пролётов в центре и двойная лестница, поднимающаяся к колоннаде-лоджии и Truman Balcony. Территория занимает чуть более восемнадцати акров и распланирована по плану 1935 года Frederick Law Olmsted Jr., с Rose Garden рядом с West Colonnade.

Сегодня комплекс сосредоточен вокруг Executive Residence — шестиэтажного здания со 132 комнатами, соединённого колоннадами Джефферсона с Западным крылом, где расположены Овальный кабинет, Cabinet Room и зал для брифингов для прессы. На Государственном этаже находятся комнаты для приёмов: East Room, Зелёная, Синяя и Красная гостиные, Государственная столовая и Большая лестница. Жаклин Кеннеди придала нескольким из них исторические темы в годы Кеннеди, например французский ампир для Синей гостиной и федеральный стиль для Зелёной гостиной, а в 1961 году Конгресс объявил дом музеем, чтобы его мебель и произведения искусства больше нельзя было продавать. На первом этаже Diplomatic Reception Room хранит обои «Vue de l'Amérique Nord», созданные Zuber & Cie в 1834 году.

Томас Джефферсон разрешил публике осматривать дом, и экскурсии продолжаются со времён его правления, кроме военных лет; после терактов 11 сентября их на время приостановили. Экскурсионные группы входят через здание охраны с восточной стороны дома. С 1995 года участок Pennsylvania Avenue перед домом закрыт для автомобильного движения.