Император Gia Long начал его в 1804 году, взяв за образец Запретный город в Пекине, а в 1833 году он был перестроен и расширен до нынешних размеров. В отличие от китайского образца, он не обращён строго на юг: весь комплекс смотрит на юго-восток через реку Hương, называемую также Ароматной рекой, и расположен со смещением от центра к воде. С 1993 года он входит в комплекс памятников Хюэ в списке Всемирного наследия ЮНЕСКО.

Дворец стоит внутри трёх вложенных одно в другое кольцевых ограждений. Внешнее — цитадель Kinh thành, крепость в стиле Вобана с зигзагообразными валами длиной около 10 километров по периметру и бастионами на равных промежутках, окружённая рвом, который питается из реки через шлюзы. Внутри неё собственно Императорский город представляет собой квадрат кирпичных стен со стороной около 600 метров, с собственным рвом и четырьмя воротами: Ngọ Môn на юге, главные ворота, центральный проход которых предназначался императору, Hiển Nhơn на востоке, Chương Đức на западе и Hòa Bình на севере. В центре находился Пурпурный запретный город, личные покои, закрытые для всех, кроме императорской семьи.

Перед стенами башня с флагом Kỳ Đài поднимается над трёхъярусным основанием высотой около 17,5 м; бетонный флагшток на вершине высотой 37 м относится к 1948 году, а когда в 1945 году отрёкся Bảo Đại, здесь вместо знамени Nguyễn был поднят красный флаг с жёлтой звездой. Рядом стоят Девять священных пушек, отлитых из бронзы в 1803—1804 годах из оружия побеждённых Tây Sơn и названных по четырём временам года и пяти стихиям; в 2012 году они были объявлены национальным сокровищем. Двухэтажный павильон Phu Văn lâu 1819 года, обращённый к реке, — место, где вывешивались императорские указы и списки успешно сдавших экзамены кандидатов.

За Ngọ Môn находится Thái Hòa, тронный зал, построенный в 1805 году и перенесённый на нынешнее место в 1833 году. Каждый из 13 императоров династии Nguyễn, от Gia Long до Bảo Đại, был коронован здесь, а интерьер украшен в манере «одно стихотворение, одна картина» со 197 стихотворениями на эмалевых панелях рядом с изображениями. Среди храмов во дворе Thế Miếu, храма умерших императоров, стоят девять бронзовых треножников; Minh Mạng заказал их в 1835 году, каждый назван в честь императора и несёт 17 мотивов, показывающих пейзажи, существ и продукты страны. Hiển Lâm Các, павильон высотой 17 м 1821—1822 годов, чтущий императоров династии и великих сановников, — самое высокое здание на территории. Дворец Diên Thọ, жилище вдовствующих императриц, прошёл через войны почти без повреждений и сохранил свои залы и павильоны, соединённые крытыми галереями, на площади около 17 500 квадратных метров.

Многое утрачено. В 1947 году шестинедельный бой между французами и Вьетминем сжёг ядро дворца, а в 1968 году, во время наступления Тет, битва за Хюэ нанесла новый тяжёлый ущерб; из 160 зданий уцелело лишь 10 крупных объектов, и следы пуль от боёв можно увидеть до сих пор. Внутри Запретного города Cần Chánh, рабочий зал императора, лежит в руинах, но Kiến Trung, дворец, построенный Khải Định в 1921—1923 годах, сочетает французский, итальянский ренессансный и вьетнамский стили за фасадом из цветных керамических кусочков. Среди других достопримечательностей — читальный павильон Thái Bình Lâu, построенный для Khải Định в 1919—1921 годах, королевский театр, где ставили придворную музыку и Tuồng, и Nhật Thành Lâu, частный буддийский храм императоров, перестроенный в 2018 году.