El emperador Lý Thánh Tông lo fundó en 1070, y de 1076 a 1779 albergó la Academia Imperial, Quốc Tử Giám, la primera universidad nacional del país, donde los futuros funcionarios estudiaban los clásicos confucianos durante tres a siete años antes de los exámenes estatales. La disposición sigue la del templo de Qufu, lugar de nacimiento de Confucio, y el complejo aparece en el reverso del billete de 100.000 đồng.

Cuatro altos pilares se alzan ante la Gran Puerta, flanqueados por estelas que ordenan a los jinetes desmontar. Desde la puerta, tres caminos recorren el recinto: el del medio para el monarca, el de la izquierda para los mandarines civiles y el de la derecha para los militares. Los dos primeros patios son espacios tranquilos de árboles viejos y céspedes, con arbustos podados en forma de los doce animales del zodiaco. En el segundo se alza el pabellón Khuê Văn, de 1805, un piso superior rojo con dos ventanas redondas elevado sobre cuatro pilares de piedra encalados, que se ha convertido en símbolo de Hanói.

El tercer patio rodea el pozo Thiên Quang, flanqueado por dos grandes salas que guardan los tesoros del templo. Las estelas de los doctores, valiosas para los historiadores de la educación y la escultura vietnamitas, son la otra gran atracción. El emperador Lê Thánh Tông comenzó a erigirlas en 1484: tablas de piedra sobre el lomo de tortugas talladas, símbolo de larga vida y sabiduría. De las 116 que levantó, se conservan 82, que registran los nombres y las aldeas de origen de 1307 graduados de 82 exámenes reales celebrados entre 1442 y 1779. En 2011 la UNESCO inscribió las estelas en su Registro de la Memoria del Mundo, y una valla impide que la gente frote las cabezas de las tortugas.

Tras la puerta Đại Thành, el cuarto patio forma el centro ceremonial del templo, con la Casa de las Ceremonias (Đại Bái Đường) y, detrás, el Thượng Điện, donde se venera a Confucio junto con sus cuatro discípulos más cercanos. Un pequeño museo muestra tinteros, plumas, libros y pertenencias de los estudiantes que estudiaron aquí. El quinto patio, en el emplazamiento de la antigua academia, fue destruido en 1946 durante la primera guerra de Indochina y reconstruido en 2000. La planta baja de su edificio trasero contiene exposiciones sobre la educación confuciana y una estatua de Chu Văn An, que fue rector de la academia, y el piso superior rinde homenaje a los tres emperadores que fundaron el templo, la academia y las estelas; pequeñas torres a cada lado albergan un gran tambor y una campana de bronce fundida en 2000.

Justo antes del Tết, el Año Nuevo vietnamita, los calígrafos se reúnen fuera del templo para escribir deseos en caracteres chinos, que la gente se lleva a casa como regalos o adornos.