Его начали строить при императоре Веспасиане, а закончил в 80 году н. э. его сын Тит, и младший сын Домициан внёс дальнейшие изменения; поскольку все трое принадлежали к династии Флавиев, позднейшие учёные назвали его амфитеатром Флавиев. Народное название, вероятно, происходит от колоссальной бронзовой статуи Нерона, стоявшей рядом. На протяжении веков он вмещал десятки тысяч зрителей на гладиаторские бои, травли зверей, казни и другие публичные зрелища.

Веспасиан построил его на месте озера в Золотом доме Нерона, дворцовых землях, которые Нерон занял после Великого пожара 64 года н. э. и тем самым вернул часть города народу. Надпись сообщает, что работы были оплачены долей Веспасиана из сокровищ, вывезенных из Иерусалимского храма после осады Иерусалима. На открывающих играх, как говорят, погибло более 9 000 диких животных. Бои гладиаторов в последний раз упоминаются около 435 года, хотя травли зверей продолжались как минимум до 523 года.

Здание стоит отдельно на ровной земле, его план имеет длину 189 метров и ширину 156 метров. Сохранившийся участок внешнего фасада, на северной стороне, показывает три яруса арок, обрамлённых дорическими, ионическими и коринфскими полуколоннами под высоким аттиком; кирпичные контрфорсы на каждом конце добавили в начале XIX века, а остальная часть нынешнего внешнего облика на самом деле — старая внутренняя стена. Отверстия на месте выбитых из травертина железных скоб до сих пор испещряют камень. По верху шли 240 каменных кронштейнов, в которых когда-то держались шесты веларий, холщового навеса, которым управляли моряки флота из Мизен.

Потоки зрителей регулировались почти так же, как на современном стадионе. Восемьдесят входов на уровне земли были пронумерованы, так же как и лестницы, зрители носили пронумерованные глиняные жетоны, а проходы, называемые вомиториями, позволяли заполненному зданию опустеть за считанные минуты; сохранились входы с XXIII по LIIII. Места распределялись по римским рангам: ложи для императора и весталок на северном и южном концах, подий для сенаторов, чьи имена до сих пор можно прочитать вырезанными в камне, затем всадники, граждане и, на самом верху, галерея, добавленная Домицианом для бедняков, рабов и женщин.

От деревянного, покрытого песком пола арены осталось немного, поэтому посетители смотрят прямо вниз, в гипогей — двухъярусный лабиринт туннелей и клеток, добавленный Домицианом под ареной. Здесь ждали гладиаторы и животные, а лифты и блоки поднимали животных и декорации через восемьдесят шахт на арену; туннели вели к Ludus Magnus, гладиаторской школе чуть к востоку, чьи остатки сохранились до сих пор. После окончания игр здание стало жильём, мастерскими, крепостью Frangipani и каменоломней, а землетрясение 1349 года обрушило внешнюю южную сторону. В 1749 году папа Бенедикт XIV запретил добычу камня и посвятил его Страстям Христовым, и раз в год из окрестностей Колизея отправляется процессия Крестного пути с факелами, которую возглавляет папа.