Он назван по Гангу, священной реке Индии, а его источники, бьющие на возвышенности к северо-западу, питают пруды на одногектарной территории, после чего вода идёт орошать окрестные земли. Деревья rijasa, посаженные здесь, дали ему второе название — Taman Rijasa.

Последний король Карангасема I Gusti Bagus Jelantik, построивший также водный дворец Ujung, разбил комплекс в 1946 году как место отдыха для себя и своей семьи; в 1963 году извержение расположенной рядом горы Агунг уничтожило его почти целиком. Тирта-Гангга — также место священной воды: в соответствии с почтением, которое балийский индуизм питает к Гангу, её вода используется как tirta в религиозных церемониях, а храм Patirthan отмечает её давнюю роль места паломничества.