Construido al estilo dzong, se extiende 400 metros de este a oeste y 350 metros de norte a sur, y sus trece plantas se elevan 119 metros sobre la colina y más de 300 metros sobre el fondo del valle. Desde 1649 hasta 1959 fue la residencia de los dalái lamas, que lo usaban como palacio de invierno, y desde entonces es un museo. Fue inscrito en la Lista del Patrimonio Mundial de la UNESCO en 1994.

El nombre procede del monte Potalaka, que la tradición budista considera la morada del bodhisattva de la compasión, Avalokiteśvara, también llamado Chenrezi. El 5.º dalái lama, Ngawang Lozang Gyatso, inició el edificio actual en 1645 por consejo de Konchog Chophel, que consideraba el lugar idóneo para una sede de gobierno por hallarse entre la antigua Lhasa y los dos grandes monasterios de Drepung y Sera. Se levanta donde estuvo un palacio anterior atribuido a Songtsen Gampo, fechado tradicionalmente en 637; dos capillas en la esquina noroeste, la Phakpa Lhakhang y la Chogyel Drupuk, una cueva identificada como el lugar de meditación de Songtsen Gampo, conservan partes de él.

El edificio tiene dos partes principales. El gobierno del dalái lama se instaló en el Potrang Karpo, o Palacio Blanco, en 1649. El Potrang Marpo, el Palacio Rojo de color carmesí situado en el centro, se añadió entre 1690 y 1694 y alberga las salas y capillas principales y los relicarios de anteriores dalái lamas; sus tejados terminan en baldaquinos dorados. La estructura exterior se levantó en tres años, pero el interior y su mobiliario llevaron 45 años. El conjunto cuenta con más de 1.000 estancias, unos 10.000 altares y aproximadamente 200.000 estatuas; entre sus tesoros figuran el mandala de Kalachakra de la década de 1690 y el mandala de Yamantaka de 1751, así como los antiguos aposentos del dalái lama.

Los muros se inclinan hacia dentro a medida que suben, con hileras de ventanas en sus partes altas y tejados planos a muchos niveles. Tienen de media 3 metros de grosor y llegan a 5 metros en la base, y en los cimientos se vertió cobre para proteger el edificio de los terremotos. Al pie sur de la roca se extiende un gran recinto amurallado con puertas, desde el que suben tramos de escaleras hacia la cima. Durante el festival Sertreng se colgaban antiguamente en la fachada inferior blanca del lado sur dos enormes thangkas unidos que representaban a Tara y a Sakyamuni.

El palacio sufrió daños por bombardeos durante el levantamiento tibetano de 1959, y en 1966 se libró de la Revolución Cultural gracias a la intervención personal del primer ministro Zhou Enlai. Se restauró entre 1989 y 1994, y de nuevo a partir de 2002. Preocupada por los edificios modernos que se levantaban a su alrededor, la UNESCO planteó la cuestión al gobierno chino, que respondió con una norma que prohíbe en la zona cualquier construcción de más de 21 metros de altura.