Aile 15. yüzyılın sonlarında dönemin gemi kaptanlarından yolculuklarından tohum ve bitki getirmelerini istemişti. Bahçe 1492'de zaten vardı; o yıl sulanması için 15 m açıklıklı bir su kemeri yapıldı ve bu su kemeri bitkilere hâlâ su taşıyor. Arboretumu 1950'den beri Hırvatistan Bilimler ve Sanatlar Akademisi işletiyor.

Arazi farklı dönemlerden iki bahçeyi bir araya getiriyor. Ailenin 15. yüzyıldan kalma yazlık konutunun çevresinde, bahçe mimarisi anıtı sayılan bir park uzanır; burada 1502'de düzenlenmiş ve egzotik bitkilerle doldurulmuş bir Rönesans bahçesi bulunur. İkinci park Drvarica'dadır ve on dokuzuncu yüzyıldan kalmadır. Trsteno 1962'den beri peyzaj mimarisi anıtı olarak koruma altında; yaklaşık 255.000 metrekarelik alan bu korumanın kapsamında. Game of Thrones'un üçüncü ve dördüncü sezonlarında arboretum, Kral Toprakları'ndaki Kızıl Kale'nin saray bahçelerini canlandırdı.

Arboretum iki kez ağır zarar gördü. Hırvatistan Bağımsızlık Savaşı sırasında, 2 ve 3 Ekim 1991'de Yugoslav Halk Ordusu'nun hücumbot ve hava saldırıları onu ateşe verdi; büyük bölümü yok oldu, yazlık konut ve en eski bölüm kısmen hasar gördü; arboretum ayrıca yağmalandı. 2000'de bir kuraklık sırasında çıkan orman yangını yaklaşık 120.000 metrekareyi yaktı. Trsteno'nun ana meydanındaki iki doğu çınarı her iki felaketten de zarar görmeden çıktı: 500 yaşını aşkın, gövdeleri 5 m çapında olan bu ağaçlar arboretumun gururu sayılıyor.