La construction a commencé sous Auguste et le bâtiment a été agrandi plus tard sous Vespasien, à l’époque où la ville était la colonie romaine de Pietas Julia. Il a été élevé hors des murs de la ville, à côté de la Via Flavia, la route d’Aquilée et de Rome, et à son apogée il accueillait environ 23 000 personnes pour des combats de gladiateurs et des chasses d’animaux. Le nom vient du latin harena, le sable qui recouvrait autrefois l’aire de combat.

Comme l’amphithéâtre est situé sur une pente, le mur extérieur change de hauteur lorsqu’on en fait le tour. Du côté de la mer, il s’élève sur trois niveaux ; à l’est, sur un terrain plus haut, seuls les deux niveaux supérieurs apparaissent au-dessus de la pente. Les deux niveaux inférieurs comptent chacun 72 arcades, tandis que le niveau supérieur est percé de 64 ouvertures rectangulaires, et quatre tours font saillie du mur. Chaque tour contenait deux citernes d’eau parfumée qui pouvait alimenter une fontaine ou être répandue sur la foule. Des mâts glissés dans des ouvertures de la corniche portaient autrefois de grandes voiles qui abritaient les spectateurs du soleil.

À l’intérieur, l’aire de combat ovale mesure environ 67,9 sur 41,6 mètres, et l’arène comptait 15 portes au total. Sous elle, des passages en partie taillés dans le roc vif courent le long de l’axe principal ; les animaux, les décors et les combattants y étaient retenus avant d’être lâchés dans l’arène. Ces salles souterraines servent aujourd’hui à des expositions sur la viticulture et l’oléiculture en Istrie.

Les combats de gladiateurs ont pris fin au Ve siècle, et dès lors les habitants ont emporté la pierre en charrettes jusqu’à ce que le patriarche d’Aquilée y mette fin au XIIIe siècle. Au Moyen Âge, l’intérieur a servi de pâturage, de lieu de foires et, à l’occasion, de tournois. En 1583, le Sénat vénitien a proposé de démonter l’arène et de la reconstruire à Venise ; le projet fut rejeté, et une plaque de pierre sur la deuxième tour honore le sénateur Gabriele Emo pour s’y être opposé. La restauration a commencé sous le général français Auguste de Marmont et s’est poursuivie à partir de 1816 sous l’architecte Pietro Nobile.

Depuis 1932, l’amphithéâtre est adapté aux spectacles, et il accueille aujourd’hui le festival du film de Pula ainsi que des concerts, de l’opéra et du ballet. Julie Taymor a tourné des parties de Titus, son adaptation de 1999 de Titus Andronicus, à l’intérieur de l’arène.