Dzong üslubunda inşa edilen saray doğudan batıya 400 metre, kuzeyden güneye 350 metre uzanır; on üç katı tepenin 119 metre, vadi tabanının ise 300 metreden fazla üzerine yükselir. 1649'dan 1959'a kadar, kış sarayı olarak kullanan Dalay Lamaların konutuydu; o zamandan beri müzedir. 1994'te UNESCO Dünya Mirası Listesi'ne alındı.

Ad, Budist gelenekte şefkat bodhisattvası Avalokiteşvara'nın, namıdiğer Chenrezi'nin yurdu sayılan Potalaka Dağı'ndan gelir. 5. Dalay Lama Ngawang Lozang Gyatso bugünkü yapıya 1645'te, alanın eski Lhasa ile iki büyük manastır Drepung ve Sera arasında yer aldığı için bir yönetim merkezine uygun olduğunu düşünen Konchog Chophel'in tavsiyesiyle başladı. Saray, Songtsen Gampo'ya atfedilen ve geleneksel olarak 637 yılına tarihlenen daha eski bir sarayın yerinde durur; kuzeybatı köşedeki iki şapel, Phakpa Lhakhang ile Songtsen Gampo'nun meditasyon yeri olarak kabul edilen bir mağara olan Chogyel Drupuk, o sarayın parçalarını korur.

Yapının iki ana bölümü vardır. Dalay Lama'nın hükümeti 1649'da Potrang Karpo'ya, yani Beyaz Saray'a yerleşti. Ortadaki koyu kırmızı Potrang Marpo, yani Kızıl Saray, 1690–1694 arasında eklendi; ana salonları ve şapelleri ile geçmiş Dalay Lamaların türbelerini barındırır, çatıları yaldızlı tepeliklerle son bulur. Dış kabuk üç yılda yükseldi, ancak iç mekân ve döşemesi 45 yıl sürdü. Yapı topluluğunda 1.000'den fazla oda, yaklaşık 10.000 sunak ve kabaca 200.000 heykel bulunur; hazineleri arasında 1690'lardan kalma Kalaçakra Mandalası ve 1751 tarihli Yamantaka Mandalası ile Dalay Lama'nın eski odaları vardır.

Duvarlar yükseldikçe içe doğru eğilir; üst kısımlarında pencere sıraları, pek çok düzeyde de düz çatılar vardır. Kalınlıkları ortalama 3 metredir, tabanda 5 metreye ulaşır; yapıyı depremlere karşı korumak için temellere bakır dökülmüştür. Kayanın güney eteğinde, kapıları olan ve surlarla çevrili geniş bir alan uzanır; buradan zirveye doğru merdivenler tırmanır. Sertreng Festivali sırasında bir zamanlar Tara'yı ve Sakyamuni'yi gösteren, birbirine eklenmiş iki dev thangka güney yüzdeki beyaz alt cephe boyunca sarkıtılırdı.

Saray 1959 Tibet ayaklanması sırasında top atışlarıyla hasar gördü; 1966'da Kültür Devrimi'nde ise Başbakan Zhou Enlai'nin kişisel müdahalesi sayesinde zarar görmekten kurtuldu. 1989–1994 arasında ve yeniden 2002'den itibaren restore edildi. Çevresinde yükselen modern yapılardan kaygı duyan UNESCO konuyu Çin hükümetine iletti; hükümet de bölgede 21 metreden yüksek her türlü yapıyı yasaklayan bir kuralla karşılık verdi.