Le nom officiel du temple est Rokuon-ji, le temple du Jardin des cerfs, et le pavillon qui lui donne son nom populaire est un shariden, un pavillon qui abrite des reliques du Bouddha. Le temple fait partie des monuments historiques de l’ancienne Kyoto, une inscription au patrimoine mondial qui regroupe 17 lieux, et il est aussi un site historique spécial national et un paysage spécial national.

Le site fut d’abord Kitayama-dai, une villa de l’homme d’État Saionji Kintsune. En 1397, le shōgun Ashikaga Yoshimitsu l’acheta et construisit l’ensemble ; après sa mort, son fils en fit un temple zen, comme Yoshimitsu l’avait souhaité ; on pense que le Pavillon d’or d’origine date de 1399. Il survécut à la guerre d’Ōnin, qui brûla tous les autres bâtiments de l’ensemble, pour être détruit le 2 juillet 1950 par un incendie allumé par un novice de 22 ans, événement que Yukio Mishima a romancé dans son roman de 1956 Le Pavillon d’or. Le pavillon actuel, haut de 12,5 mètres, a été reconstruit en 1955 en copie fidèle ; en 1986-1987, sa feuille d’or a été renouvelée avec des feuilles de 0,5 μm pesant 20 kg, et le toit a été restauré en 2003.

Chaque étage est construit dans un style différent. Le rez-de-chaussée, la Chambre des eaux du Dharma, suit la manière shinden-zukuri des maisons aristocratiques de l’époque Heian, avec du bois naturel non peint, du plâtre blanc et des volets qui l’ouvrent sur le jardin. Le deuxième niveau, la Tour des ondes sonores, est de style buke-zukuri, celui de la classe guerrière, et abrite une salle du Bouddha et un sanctuaire de Kannon. L’étage supérieur, la Coupole de l’Ultime, prend la forme d’un pavillon zen chinois. Un phénix de bronze couronne le toit de bardeaux, et le pavillon a plus tard servi de modèle au Ginkaku-ji, le Pavillon d’argent.

Le pavillon est le centre d’un jardin de promenade de l’époque Muromachi, conçu pour emprunter le paysage environnant. Il s’avance au-dessus du Kyōko-chi, l’étang Miroir, qui compte 10 petites îles ; la plus grande figure les îles japonaises, et une ligne de quatre pierres près du pavillon représente des voiliers ancrés pour la nuit en route vers l’île de la Vie éternelle de la mythologie chinoise. Une petite plate-forme de pêche à l’arrière du pavillon permet d’amarrer une barque en dessous, et l’ensemble du site suit des récits écrits du Paradis occidental du bouddha Amida.