Su nombre une las palabras balinesas para borde (ulu) y roca (watu), y según el folclore local la roca es parte de la barca de la diosa Dewi Danu convertida en piedra. Su culto está dirigido a Sang Hyang Widhi Wasa, manifestado como Rudra, y es poco común por ser a la vez un templo marino y uno de los nueve templos direccionales de Bali.

Es posible que aquí hubiera un pequeño templo antes de que el sabio javanés Empu Kuturan lo ampliara en el siglo XI. Hacia comienzos del siglo XVI, a otro sabio de Java Oriental, Dang Hyang Nirartha, se le atribuye la introducción de sus santuarios padmasana, y se dice que alcanzó el moksha en este lugar; el acontecimiento, llamado ngeluhur, «subir», dio al templo su epíteto de Luhur, «altura». El derecho consuetudinario de la comunidad de Pecatu protege el bosque que rodea el templo como parte de su espacio sagrado.

En el recinto del templo viven macacos cangrejeros, conocidos por arrebatar objetos a los visitantes, como gafas de sol, cámaras y chanclas, y devolverlos a cambio de comida; los investigadores que los estudian han observado que las crías aprenden este trueque de los adultos. En el lado del acantilado se representa al aire libre una danza Kecak basada en el Ramayana, con la puesta de sol de fondo.