L’architecte d’origine irlandaise James Hoban a remporté le concours de conception de 1792, et son plan empruntait des détails à Leinster House, à Dublin, comme les fenêtres supérieures qui alternent frontons triangulaires et segmentaires. Les murs sont en grès d’Aquia Creek ; une fois le bâtiment achevé, la pierre poreuse a été enduite d’un badigeon de chaux, de colle de riz, de caséine et de plomb, et cette couleur a fini par donner son nom à la maison. Theodore Roosevelt a fait de « The White House » le nom officiel en 1901.

La maison a été reconstruite plus d’une fois. Le 24 août 1814, pendant la guerre de 1812, les forces britanniques l’ont incendiée lors de l’incendie de Washington, ne laissant que les murs extérieurs, dont la plupart ont dû être abattus ; Hoban et Latrobe ont dirigé la reconstruction de 1815 à 1817. Le portique sud, courbe, a suivi en 1824 et le portique nord en 1830, sa pierre sculptée par des artisans italiens venus travailler au Capitole. En 1948, la structure a été jugée en danger d’effondrement, et sous Harry S. Truman l’intérieur a été entièrement démonté, une ossature d’acier a été installée à l’intérieur des anciens murs et les pièces ont été reconstruites à l’intérieur tandis que les Truman habitaient Blair House, de l’autre côté de la rue.

Vue depuis Pennsylvania Avenue, la façade nord s’ouvre sous une porte cochère à colonnes ioniques, avec une imposte en éventail et un feston floral sculpté au-dessus de la porte ; les chapiteaux ioniques de ce portique portent une guirlande de roses entre les volutes, assortie aux roses sculptées plus anciennes au-dessus de l’entrée. Le côté sud est plus varié : un rez-de-chaussée à bossages à la manière palladienne, un avant-corps arrondi de trois travées au centre, et un double escalier montant à une loggia à colonnade et au Truman Balcony. Le domaine couvre un peu plus de dix-huit acres, aménagé selon un plan de 1935 de Frederick Law Olmsted Jr., avec la Rose Garden à côté de la West Colonnade.

L’ensemble s’articule aujourd’hui autour de l’Executive Residence, de six niveaux et 132 pièces, relié par les colonnades de Jefferson à la West Wing, où se trouvent le Bureau ovale, la Cabinet Room et la salle de presse. L’étage d’apparat renferme les pièces utilisées pour les réceptions : l’East Room, les Green, Blue et Red Rooms, la State Dining Room et le Grand Staircase. Jacqueline Kennedy a donné à plusieurs d’entre elles un thème historique pendant les années Kennedy, comme le style Empire français pour la Blue Room et le style fédéral pour la Green Room, et en 1961 le Congrès a déclaré la maison musée afin que son mobilier et ses œuvres d’art ne puissent plus être vendus. Au rez-de-chaussée, la Diplomatic Reception Room conserve un papier peint « Vue de l’Amérique Nord » dessiné par Zuber & Cie en 1834.

Thomas Jefferson a autorisé le public à visiter la maison, et les visites se sont poursuivies depuis son époque, sauf en temps de guerre ; après les attentats du 11 septembre, elles ont été suspendues pendant un temps. Les groupes de visiteurs entrent par un bâtiment de sécurité du côté est de la maison. Depuis 1995, le tronçon de Pennsylvania Avenue situé devant la maison est fermé à la circulation des véhicules.