Adını Hindistan'ın kutsal nehri Ganj'dan alır. Kuzeybatıdaki yüksek arazide çıkan kaynakları, bir hektarlık alandaki göletleri besledikten sonra su çevredeki toprakları sulamaya devam eder. Burada dikilen rijasa ağaçları ona ikinci bir ad, Taman Rijasa adını kazandırmıştır.

Ujung Su Sarayı'nı da yaptıran son Karangasem kralı I Gusti Bagus Jelantik, yapı topluluğunu 1946'da kendisi ve ailesi için bir dinlenme yeri olarak düzenledi; 1963'te hemen yakındaki Agung Dağı'nın püskürmesi neredeyse tamamını yıktı. Tirta Gangga aynı zamanda bir kutsal su yeridir: Bali Hinduizminin Ganj'a duyduğu saygıyla uyumlu olarak suyu dinî törenlerde tirta olarak kullanılır; Patirthan tapınağı da buranın uzun süredir bir hac yeri olduğunu gösterir.