El nombre oficial del templo es Rokuon-ji, el Templo del Jardín de los Ciervos, y el pabellón que le da su nombre popular es un shariden, una sala que guarda reliquias de Buda. El templo forma parte de los Monumentos históricos de la antigua Kioto, una inscripción del Patrimonio Mundial que reúne 17 lugares, y es también Sitio Histórico Especial Nacional y Paisaje Especial Nacional.
El lugar nació como Kitayama-dai, una villa del estadista Saionji Kintsune. En 1397, el shōgun Ashikaga Yoshimitsu la compró y construyó el conjunto, y tras su muerte su hijo la convirtió en templo zen, tal como Yoshimitsu había deseado; se cree que el Pabellón Dorado original data de 1399. Sobrevivió a la guerra de Ōnin, que quemó todos los demás edificios del conjunto, pero fue destruido el 2 de julio de 1950 por un incendio provocado por un monje novicio de 22 años, el suceso que Yukio Mishima novelizó en El pabellón de oro, de 1956. El pabellón actual, de 12,5 metros de altura, se reconstruyó en 1955 como una copia fiel; en 1986–1987 se renovó su pan de oro con láminas de 0,5 μm que pesaban 20 kg, y el tejado se restauró en 2003.
Cada piso está construido en un estilo distinto. La planta baja, la Cámara de las Aguas del Dharma, sigue el estilo shinden-zukuri de las casas aristocráticas de la era Heian, con madera natural sin pintar, yeso blanco y contraventanas que la abren al jardín. El piso intermedio, la Torre de las Olas del Sonido, sigue el estilo buke-zukuri de la clase guerrera y alberga una sala de Buda y un santuario dedicado a Kannon. El piso superior, la Cúpula de lo Supremo, adopta la forma de una sala zen china. Un fénix de bronce corona el tejado de tablillas, y el pabellón sirvió más tarde de modelo para Ginkaku-ji, el Pabellón de Plata.
El pabellón es la pieza central de un jardín de paseo del periodo Muromachi, diseñado para incorporar el paisaje circundante. Se adentra en el Kyōko-chi, el Estanque Espejo, que alberga 10 pequeñas islas; la mayor representa las islas japonesas, y una hilera de cuatro piedras cerca del pabellón representa veleros anclados para pasar la noche de camino a la Isla de la Vida Eterna del mito chino. Un pequeño embarcadero de pesca en la parte trasera del pabellón permite amarrar una barca bajo él, y el recinto en su conjunto sigue las descripciones escritas del Paraíso Occidental del Buda Amida.




