Sein Name verbindet die balinesischen Wörter für Rand (ulu) und Fels (watu), und nach örtlicher Überlieferung ist der Felsen ein Teil des zu Stein gewordenen Bootes der Göttin Dewi Danu. Verehrt wird hier Sang Hyang Widhi Wasa in seiner Erscheinungsform als Rudra, und ungewöhnlich ist, dass der Tempel zugleich ein Meerestempel und einer der neun Richtungstempel Balis ist.

Möglicherweise stand hier schon ein kleiner Tempel, bevor der javanische Weise Empu Kuturan ihn im 11. Jahrhundert erweiterte. Um den Beginn des 16. Jahrhunderts soll ein weiterer Weiser aus Ostjava, Dang Hyang Nirartha, die Padmasana-Schreine eingeführt haben, und er soll an dieser Stelle Moksha erlangt haben; das Ereignis, ngeluhur genannt, „hinaufgehen“, gab dem Tempel seinen Beinamen Luhur, „Höhe“. Das Gewohnheitsrecht der Gemeinschaft von Pecatu schützt den Wald um den Tempel als Teil seines heiligen Bereichs.

Auf dem Tempelgelände leben Langschwanzmakaken, die dafür bekannt sind, Besuchern Sachen wie Sonnenbrillen, Kameras und Flipflops zu entreißen und sie gegen Futter zurückzugeben; Forscher, die sie untersuchen, haben festgestellt, dass die Jungtiere diesen Tauschhandel von den älteren Tieren lernen. Auf der Klippenseite wird unter freiem Himmel ein Kecak-Tanz nach dem Ramayana aufgeführt, mit dem Sonnenuntergang im Hintergrund.