Построенный в стиле дзонг, он тянется на 400 метров с востока на запад и на 350 метров с севера на юг, а его тринадцать этажей возвышаются на 119 метров над холмом и более чем на 300 метров над дном долины. С 1649 по 1959 год он был резиденцией далай-лам, которые использовали его как зимний дворец, а затем он стал музеем. В 1994 году он был внесён в список Всемирного наследия ЮНЕСКО.

Название происходит от горы Поталака, которую в буддийской традиции считают обителью бодхисаттвы сострадания Авалокитешвары, которого называют также Ченрези. 5-й далай-лама Ngawang Lozang Gyatso начал нынешнее здание в 1645 году по совету Konchog Chophel, который счёл место удобным для резиденции правительства, поскольку оно лежало между старой Лхасой и двумя великими монастырями Дрепунг и Сера. Оно стоит там, где находился более ранний дворец, приписываемый Сонгцен Гампо и традиционно датируемый 637 годом; части его сохраняют две часовни в северо-западном углу — Phakpa Lhakhang и Chogyel Drupuk, пещера, считающаяся местом медитации Сонгцен Гампо.

Здание состоит из двух главных частей. Правительство далай-ламы поселилось в Potrang Karpo, или Белом дворце, в 1649 году. Багровый Potrang Marpo, Красный дворец в центре, был добавлен между 1690 и 1694 годами; в нём находятся главные залы и часовни и усыпальницы прежних далай-лам, а его крыши заканчиваются позолоченными навесами. Внешняя оболочка была возведена за три года, но внутренняя отделка и убранство заняли 45 лет. В комплексе насчитывается свыше 1 000 комнат, около 10 000 святилищ и примерно 200 000 статуй; среди его сокровищ мандала Калачакры 1690-х годов и мандала Ямантаки 1751 года, а также прежние покои далай-ламы.

Стены по мере подъёма наклоняются внутрь, в верхних частях ряды окон, а крыши плоские и расположены на многих уровнях. Их толщина в среднем 3 метра, а у основания достигает 5 метров, и в фундамент заливали медь, чтобы защитить здание от землетрясений. У южного подножия скалы находится большое огороженное пространство с воротами, от которого лестничные марши поднимаются к вершине. Во время праздника Sertreng две огромные сшитые тханки с изображением Тары и Шакьямуни некогда вывешивали вниз по белому нижнему фасаду южной стороны.

Дворец пострадал от обстрела во время тибетского восстания 1959 года и избежал ущерба в годы Культурной революции в 1966 году благодаря личному вмешательству премьера Чжоу Эньлая. Он был отреставрирован в 1989–1994 годах и вновь с 2002 года. Обеспокоенная строительством современных зданий вокруг, ЮНЕСКО подняла этот вопрос перед китайским правительством, которое ответило правилом, запрещающим любые сооружения выше 21 метра в этой зоне.