El arquitecto de origen irlandés James Hoban ganó el concurso de diseño de 1792, y su proyecto tomó detalles de Leinster House, en Dublín, como las ventanas superiores que alternan frontones triangulares y segmentados. Los muros son de arenisca de Aquia Creek; una vez terminado el edificio, la piedra porosa se recubrió con una lechada de cal, cola de arroz, caseína y plomo, y ese color acabó dando nombre a la casa. Theodore Roosevelt hizo de «The White House» el nombre oficial en 1901.

La casa ha sido reconstruida más de una vez. El 24 de agosto de 1814, durante la guerra de 1812, las fuerzas británicas le prendieron fuego en el incendio de Washington, y solo quedaron los muros exteriores, la mayoría de los cuales hubo que derribar; Hoban y Latrobe supervisaron la reconstrucción de 1815 a 1817. El pórtico sur, curvo, llegó en 1824 y el pórtico norte en 1830, con su piedra tallada por artesanos italianos que habían venido a trabajar en el Capitolio. En 1948 se juzgó que la estructura corría peligro de derrumbe, y bajo Harry S. Truman se vació por completo el interior, se colocó una estructura de acero dentro de los muros antiguos y se reconstruyeron las estancias en su interior mientras los Truman vivían en Blair House, al otro lado de la calle.

Vista desde Pennsylvania Avenue, la fachada norte se entra por debajo de un porte-cochère con columnas jónicas, con un montante en abanico y un festón floral tallado sobre la puerta; los capiteles jónicos de ese pórtico llevan una guirnalda de rosas entre las volutas, a juego con las rosas talladas más antiguas sobre la entrada. El lado sur es más variado: una planta baja almohadillada a la manera palladiana, un cuerpo curvo saliente de tres vanos en el centro y una doble escalera que sube a una logia con columnata y al Truman Balcony. Los terrenos ocupan algo más de dieciocho acres, dispuestos según un plan de 1935 de Frederick Law Olmsted Jr., con el Rose Garden junto a la West Colonnade.

El conjunto actual se centra en la Residencia Ejecutiva, de seis plantas y 132 habitaciones, unida por las columnatas de Jefferson al Ala Oeste, donde se encuentran el Despacho Oval, la Sala del Gabinete y la sala de prensa. La State Floor contiene las salas usadas para recepciones: el East Room, los salones Verde, Azul y Rojo, el Comedor de Estado y la Gran Escalera. Jacqueline Kennedy dio a varias de ellas un tema histórico durante los años de Kennedy, como el Imperio francés para el Salón Azul y el estilo federal para el Salón Verde, y en 1961 el Congreso declaró la casa museo para que sus muebles y obras de arte no pudieran venderse más. En la planta baja, la Sala de Recepción Diplomática conserva un papel pintado «Vue de l'Amérique Nord» diseñado por Zuber & Cie en 1834.

Thomas Jefferson permitió que el público visitara la casa, y las visitas han continuado desde su época salvo en tiempos de guerra; tras los atentados del 11 de septiembre se suspendieron durante un tiempo. Los grupos de visitantes entran por un edificio de seguridad situado en el lado este de la casa. Desde 1995 el tramo de Pennsylvania Avenue situado frente a la casa está cerrado al tráfico de vehículos.