Kaiser Lý Thánh Tông gründete ihn 1070, und von 1076 bis 1779 beherbergte er die Kaiserliche Akademie Quốc Tử Giám, die erste nationale Universität des Landes, an der künftige Beamte drei bis sieben Jahre lang die konfuzianischen Klassiker studierten, um sich auf die Staatsprüfungen vorzubereiten. Die Anlage folgt dem Tempel in Qufu, dem Geburtsort des Konfuzius, und der Komplex ist auf der Rückseite der 100.000-Đồng-Banknote abgebildet.

Vier hohe Pfeiler stehen vor dem Großen Tor, flankiert von Stelen, die Reiter zum Absitzen auffordern. Vom Tor führen drei Wege durch das Gelände: der mittlere für den Monarchen, der linke für die Zivilmandarine und der rechte für die Militärmandarine. Die ersten beiden Höfe sind ruhige Räume mit alten Bäumen und Rasenflächen, mit Büschen, die zu den zwölf Tieren des Tierkreises geschnitten sind. Im zweiten steht der Khuê-Văn-Pavillon von 1805, ein rotes Obergeschoss mit zwei runden Fenstern auf vier weiß getünchten Steinpfeilern, der zu einem Symbol Hanois geworden ist.

Der dritte Hof umgibt den Thiên-Quang-Brunnen, flankiert von zwei großen Hallen, in denen die Schätze des Tempels liegen. Die Doktorenstelen, wertvoll für Historiker des vietnamesischen Bildungswesens und der Bildhauerei, sind die andere große Sehenswürdigkeit. Kaiser Lê Thánh Tông begann 1484 mit ihrer Aufstellung: Steintafeln auf den Rücken gemeißelter Schildkröten, einem Symbol für langes Leben und Weisheit. Von den 116, die er aufstellen ließ, sind 82 erhalten; sie verzeichnen die Namen und Heimatdörfer von 1307 Absolventen von 82 königlichen Prüfungen zwischen 1442 und 1779. 2011 nahm die UNESCO die Stelen in das Register des Weltdokumentenerbes auf, und ein Zaun hält die Menschen davon ab, die Köpfe der Schildkröten zu reiben.

Hinter dem Đại-Thành-Tor bildet der vierte Hof das zeremonielle Zentrum des Tempels, mit dem Zeremonienhaus (Đại Bái Đường) und dahinter dem Thượng Điện, wo Konfuzius zusammen mit seinen vier engsten Schülern verehrt wird. Ein kleines Museum zeigt Tintenfässer, Schreibpinsel, Bücher und Habseligkeiten von Studenten, die hier lernten. Der fünfte Hof an der Stelle der alten Akademie wurde 1946 im Indochinakrieg zerstört und 2000 wieder aufgebaut. Im Erdgeschoss seines hinteren Gebäudes gibt es Ausstellungen zur konfuzianischen Bildung und eine Statue von Chu Văn An, einst Rektor der Akademie, und das Obergeschoss ehrt die drei Kaiser, die den Tempel, die Akademie und die Stelen gründeten; kleine Türme zu beiden Seiten beherbergen eine große Trommel und eine im Jahr 2000 gegossene Bronzeglocke.

Kurz vor Tết, dem vietnamesischen Neujahr, versammeln sich Kalligrafen vor dem Tempel und schreiben Wünsche in chinesischen Schriftzeichen, die die Menschen als Geschenk oder Dekoration mit nach Hause nehmen.