Tapınağın resmî adı "Geyik Bahçesi Tapınağı" anlamındaki Rokuon-ji; ona halk arasındaki adını veren köşk ise Buda'nın kutsal emanetlerini barındıran bir shariden. Tapınak, 17 yerden oluşan Dünya Mirası kaydı Antik Kyoto Tarihî Anıtları'na dahil; aynı zamanda Ulusal Özel Tarihî Alan ve Ulusal Özel Manzara Alanı.

Alan, devlet adamı Saionji Kintsune'nin villası Kitayama-dai olarak başladı. 1397'de şogun Ashikaga Yoshimitsu onu satın alıp kompleksi inşa etti; ölümünden sonra oğlu, Yoshimitsu'nun isteği üzerine burayı bir Zen tapınağına dönüştürdü. Özgün Altın Köşk'ün 1399'dan kaldığı düşünülüyor. Kompleksteki bütün diğer yapıları yakan Ōnin savaşını atlattı, ama 2 Temmuz 1950'de 22 yaşındaki acemi bir keşişin çıkardığı yangında yok oldu; Yukio Mishima bu olayı 1956 tarihli Altın Köşk Tapınağı romanında kurmacaya dönüştürdü. 12,5 metre yüksekliğindeki bugünkü köşk 1955'te aslına çok yakın bir kopya olarak yeniden yapıldı; 1986–1987'de altın varakları toplam 20 kg ağırlığında 0,5 μm'lik varakla yenilendi, çatı da 2003'te restore edildi.

Her kat farklı bir üslupta yapılmış. Zemin kat, Dharma Suları Odası, Heian aristokrat evlerinin shinden-zukuri tarzını izliyor: doğal, boyasız ahşap, beyaz sıva ve onu bahçeye açan kepenkler. İkinci kat, Ses Dalgaları Kulesi, savaşçı sınıfın buke-zukuri üslubunda; içinde bir Buda salonu ve Kannon'a adanmış bir tapınak var. En üst kat, Nihai Kubbe, bir Çin Zen salonu biçiminde. Ahşap pullarla kaplı çatıyı bronz bir anka kuşu taçlandırıyor; köşk daha sonra Gümüş Köşk Ginkaku-ji'ye de örnek oldu.

Köşk, çevredeki manzarayı ödünç alacak biçimde tasarlanmış, Muromachi döneminden kalma bir gezinti bahçesinin merkezinde duruyor. İçinde 10 küçük ada bulunan Ayna Gölü Kyōko-chi'nin üzerine uzanıyor; en büyük ada Japon adalarını temsil ediyor, köşkün yakınındaki dört taştan oluşan bir sıra ise Çin mitolojisindeki Sonsuz Yaşam Adası'na giderken gece demir atmış yelkenlileri simgeliyor. Köşkün arkasındaki küçük bir balık tutma iskelesi, bir teknenin köşkün altına bağlanmasına olanak veriyor; alanın tamamı ise Amida Buda'nın Batı Cenneti'ne dair yazılı anlatıları izliyor.