Der in Irland geborene Architekt James Hoban gewann den Entwurfswettbewerb von 1792, und sein Plan übernahm Details vom Leinster House in Dublin, etwa die oberen Fenster mit abwechselnd dreieckigen und segmentbogenförmigen Giebeln. Die Mauern bestehen aus Aquia-Creek-Sandstein; nach Fertigstellung des Gebäudes wurde der poröse Stein mit einer Tünche aus Kalk, Reisleim, Kasein und Blei überzogen, und diese Farbe gab dem Haus schließlich seinen Namen. Theodore Roosevelt machte 1901 „The White House“ zum offiziellen Namen.
Das Haus wurde mehr als einmal neu aufgebaut. Am 24. August 1814, während des Krieges von 1812, setzten britische Truppen es beim Brand von Washington in Flammen; nur die Außenmauern blieben stehen, und die meisten davon mussten abgerissen werden. Hoban und Latrobe leiteten von 1815 bis 1817 den Wiederaufbau. 1824 folgte der geschwungene Südportikus und 1830 der Nordportikus, dessen Stein italienische Handwerker meißelten, die für die Arbeiten am Kapitol gekommen waren. 1948 galt das Gebäude als einsturzgefährdet, und unter Harry S. Truman wurde das Innere vollständig entkernt, ein Stahlgerüst in die alten Mauern gesetzt und die Räume darin neu gebaut, während die Trumans im Blair House auf der anderen Straßenseite wohnten.
Von der Pennsylvania Avenue aus betritt man die Nordfront unter einer Vorfahrt mit ionischen Säulen, mit einem Oberlicht und einem geschnitzten Blumengehänge über der Tür; die ionischen Kapitelle dieses Portikus tragen zwischen den Voluten eine Rosengirlande, passend zu den älteren gemeißelten Rosen über dem Eingang. Die Südseite ist abwechslungsreicher: ein rustiziertes Erdgeschoss nach palladianischer Art, ein vorspringender Rundbau mit drei Achsen in der Mitte und eine doppelte Treppe, die zu einer Säulenloggia und zum Truman-Balkon aufsteigt. Das Gelände umfasst gut achtzehn Acres, angelegt nach einem Plan von Frederick Law Olmsted Jr. aus dem Jahr 1935, mit dem Rosengarten neben der West Colonnade.
Im Mittelpunkt der Anlage steht heute die Executive Residence, sechs Geschosse mit 132 Räumen, die durch Jeffersons Kolonnaden mit dem Westflügel verbunden ist, in dem das Oval Office, der Cabinet Room und der Presseraum liegen. Im State Floor liegen die Räume für Empfänge: der East Room, der Green, Blue und Red Room, der State Dining Room und die Grand Staircase. Jacqueline Kennedy gab mehreren von ihnen in den Kennedy-Jahren ein historisches Thema, etwa französisches Empire für den Blue Room und den Federal Style für den Green Room, und 1961 erklärte der Kongress das Haus zum Museum, damit seine Möbel und Kunstwerke nicht mehr verkauft werden konnten. Im Erdgeschoss bewahrt der Diplomatic Reception Room eine Tapete „Vue de l'Amérique Nord“, 1834 von Zuber & Cie entworfen.
Thomas Jefferson ließ die Öffentlichkeit das Haus besichtigen, und seit seiner Zeit gibt es Führungen, außer in Kriegszeiten; nach den Anschlägen vom 11. September wurden sie eine Zeit lang ausgesetzt. Führungsgruppen betreten das Haus über ein Sicherheitsgebäude auf der Ostseite. Seit 1995 ist der Abschnitt der Pennsylvania Avenue vor dem Haus für den Fahrzeugverkehr gesperrt.




