Begonnen wurde es unter Kaiser Vespasian, vollendet 80 n. Chr. unter seinem Sohn Titus, und sein jüngerer Sohn Domitian baute es weiter um; weil alle drei der flavischen Familie angehörten, nannten spätere Gelehrte es Flavisches Amphitheater. Der volkstümliche Name stammt wahrscheinlich von der kolossalen Bronzestatue Neros, die daneben stand. Jahrhundertelang fasste es Zehntausende Zuschauer bei Gladiatorenkämpfen, Tierhetzen, Hinrichtungen und anderen öffentlichen Spektakeln.

Vespasian baute es an der Stelle des Sees in Neros Domus Aurea, dem Palastgelände, das Nero sich nach dem Großen Brand von 64 n. Chr. angeeignet hatte, und gab damit dem Volk ein Stück der Stadt zurück. Eine Inschrift hält fest, dass der Bau mit Vespasians Anteil an dem Schatz bezahlt wurde, der nach der Belagerung Jerusalems aus dem jüdischen Tempel geraubt worden war. Bei den Eröffnungsspielen sollen über 9.000 wilde Tiere gestorben sein. Kämpfe zwischen Gladiatoren werden zuletzt um 435 erwähnt, Tierhetzen gab es jedoch mindestens bis 523.

Das Bauwerk steht frei auf ebenem Grund, sein Grundriss ist 189 Meter lang und 156 Meter breit. Der erhaltene Abschnitt der äußeren Fassade auf der Nordseite zeigt drei Geschosse von Bögen, eingerahmt von dorischen, ionischen und korinthischen Halbsäulen, unter einer hohen Attika; die Ziegelstützpfeiler an beiden Enden kamen Anfang des 19. Jahrhunderts hinzu, und der Rest der heutigen Außenseite ist in Wahrheit die alte Innenwand. Löcher, wo Eisenklammern aus dem Travertin herausgeschlagen wurden, übersäen noch heute den Stein. Oben entlang hielten einst 240 Steinkonsolen die Masten des Velariums, eines Sonnensegels aus Leinwand, das Matrosen der Flotte von Misenum bedienten.

Die Menschenmengen wurden ganz ähnlich gelenkt wie in einem modernen Stadion. Achtzig Eingänge im Erdgeschoss waren nummeriert, ebenso die Treppen, die Zuschauer trugen nummerierte Tonmarken bei sich, und Gänge namens Vomitorien ließen ein volles Haus in wenigen Minuten leer werden; die Eingänge XXIII bis LIIII sind erhalten. Die Sitzordnung folgte dem römischen Rang: Logen für den Kaiser und die Vestalinnen an der Nord- und Südseite, ein Podium für die Senatoren, deren in den Stein gemeißelte Namen noch zu lesen sind, dann die Ritter, die Bürger und ganz oben eine Galerie, die Domitian für die Armen, Sklaven und Frauen hinzufügte.

Vom hölzernen, mit Sand bedeckten Arenaboden ist wenig übrig, sodass Besucher direkt in das Hypogäum hinabblicken, das zweistöckige Labyrinth aus Gängen und Käfigen, das Domitian darunter anlegen ließ. Hier warteten Gladiatoren und Tiere, und Aufzüge und Flaschenzüge hoben Tiere und Kulissen durch achtzig Schächte in die Arena; Tunnel führten zum Ludus Magnus, der Gladiatorenschule gleich östlich, deren Reste noch erhalten sind. Nach dem Ende der Spiele diente das Gebäude als Wohnraum, Werkstatt, Festung der Frangipani und Steinbruch, und ein Erdbeben im Jahr 1349 brachte die äußere Südseite zum Einsturz. 1749 verbot Papst Benedikt XIV. den Steinabbau und weihte das Bauwerk der Passion Christi, und einmal im Jahr zieht aus der Umgebung eine vom Papst angeführte Kreuzwegprozession mit Fackeln los.