Der Garten bestand bereits 1492, als zu seiner Bewässerung ein Aquädukt mit 15 m Spannweite gebaut wurde, und dieses Aquädukt führt den Pflanzen noch heute Wasser zu. Seit 1950 wird das Arboretum von der Kroatischen Akademie der Wissenschaften und Künste betrieben.
Das Gelände verbindet zwei Gärten unterschiedlichen Alters. Rund um die Sommerresidenz der Familie aus dem 15. Jahrhundert liegt ein Park, der als Denkmal der Gartenkunst gilt, mit einem 1502 angelegten und mit exotischen Pflanzen gefüllten Renaissancegarten; ein zweiter Park, in Drvarica, stammt aus dem neunzehnten Jahrhundert. Seit 1962 steht Trsteno als Denkmal der Landschaftsarchitektur unter Schutz, und rund 255.000 Quadratmeter Fläche fallen unter diesen Schutz. In der dritten und vierten Staffel von Game of Thrones diente das Arboretum als Kulisse für die Palastgärten des Roten Bergfrieds in Königsmund.
Zweimal wurde das Arboretum schwer getroffen. Am 2. und 3. Oktober 1991, während des Kroatischen Unabhängigkeitskriegs, setzten Angriffe von Kanonenbooten und Flugzeugen der Jugoslawischen Volksarmee es in Brand; ein großer Teil wurde zerstört, die Sommerresidenz und der älteste Teil wurden teilweise beschädigt, und das Gelände wurde zudem geplündert. Im Jahr 2000 vernichtete ein Waldbrand während einer Dürre rund 120.000 Quadratmeter. Zwei Morgenländische Platanen auf dem zentralen Platz von Trsteno überstanden beide Katastrophen unversehrt: Sie sind mehr als 500 Jahre alt, ihre Stämme messen 5 m im Durchmesser, und sie gelten als der Stolz des Arboretums.




