El jardín ya existía en 1492, cuando se construyó para regarlo un acueducto de 15 m de luz, y ese acueducto todavía lleva agua a las plantas. La Academia Croata de Ciencias y Artes gestiona el arboreto desde 1950.

El recinto combina dos jardines de distintas épocas. En torno a la residencia de verano de la familia, del siglo XV, se extiende un parque considerado monumento de la arquitectura de jardines, con un jardín renacentista trazado en 1502 y lleno de plantas exóticas; un segundo parque, en Drvarica, data del siglo XIX. Desde 1962 Trsteno está protegido como monumento de arquitectura paisajística, y unos 255.000 metros cuadrados de terreno están bajo esa protección. En la tercera y cuarta temporadas de Juego de tronos, el arboreto hizo de los jardines del palacio de la Fortaleza Roja en Desembarco del Rey.

El arboreto ha sufrido graves daños dos veces. El 2 y el 3 de octubre de 1991, durante la guerra de independencia de Croacia, ataques de cañoneras y aviones del Ejército Popular Yugoslavo lo incendiaron, destruyeron gran parte de él y dañaron en parte la residencia de verano y la sección más antigua; además fue saqueado. En 2000, un incendio forestal durante una sequía quemó unos 120.000 metros cuadrados. Dos plátanos orientales de la plaza central de Trsteno salieron intactos de ambos desastres: tienen más de 500 años, troncos de 5 m de diámetro, y se consideran el orgullo del arboreto.