Le jardin existait déjà en 1492, lorsqu’un aqueduc d’une portée de 15 m fut construit pour l’irriguer, et cet aqueduc amène encore l’eau aux plantes. L’Académie croate des sciences et des arts gère l’arboretum depuis 1950.

Le domaine associe deux jardins d’âges différents. Autour de la résidence d’été de la famille, du XVe siècle, s’étend un parc considéré comme un monument d’architecture de jardin, avec un jardin de la Renaissance aménagé en 1502 et rempli de plantes exotiques ; un second parc, à Drvarica, date du XIXe siècle. Depuis 1962, Trsteno est protégé comme monument d’architecture paysagère, et environ 255 000 mètres carrés de terrain relèvent de cette protection. Dans les troisième et quatrième saisons de Game of Thrones, l’arboretum a tenu lieu de jardins du Donjon rouge à Port-Réal.

L’arboretum a été gravement touché à deux reprises. Les 2 et 3 octobre 1991, pendant la guerre d’indépendance croate, des attaques de canonnières et d’avions de l’Armée populaire yougoslave l’ont incendié, en détruisant une grande partie et en endommageant en partie la résidence d’été et la section la plus ancienne ; il a aussi été pillé. En 2000, un incendie de forêt pendant une sécheresse a brûlé environ 120 000 mètres carrés. Deux platanes d’Orient de la place centrale de Trsteno ont traversé les deux catastrophes sans dommage : ils ont plus de 500 ans, avec des troncs de 5 m de large, et sont considérés comme la fierté de l’arboretum.