Il tire son nom du Gange, le fleuve sacré de l’Inde, et ses sources, qui jaillissent sur un terrain plus élevé au nord-ouest, alimentent les étangs sur les terrains d’un hectare avant que l’eau n’aille irriguer les terres alentour. Des rijasa plantés ici lui donnent un second nom, Taman Rijasa.

Le dernier roi de Karangasem, I Gusti Bagus Jelantik, qui fit aussi construire le palais d’eau d’Ujung, aménagea l’ensemble en 1946 comme lieu de détente pour lui-même et sa famille ; en 1963, une éruption du mont Agung, tout proche, en détruisit presque la totalité. Tirta Gangga est aussi un site d’eau sacrée : conformément à la vénération que l’hindouisme balinais porte au Gange, son eau est utilisée comme tirta lors des cérémonies religieuses, et le temple Patirthan marque son long rôle de lieu de pèlerinage.