Афиняне называют его Каллимармаро — «красивый мрамор». Это стадион, где в 1896 году открылись первые современные Олимпийские игры, а мраморные сиденья, которые видят посетители, — перестройка 1890-х годов римского стадиона, стоявшего на том же месте.

С VI века до н. э. здесь простой ипподром служил Панафинейским играм — празднеству, которое проводилось каждые четыре года в честь Афины, а зрители сидели на естественных склонах. Около 330 года до н. э. государственный деятель Ликург построил настоящий стадион из пористого камня, а в середине II века н. э. Герод Аттик, римский сенатор афинского происхождения, полностью перестроил его из пентелийского мрамора с местами на 50 000 зрителей. На сиденьях были вырезаны рельефом совы — птицы Афины. После того как Феодосий I запретил старые праздники в конце IV века, стадион пришёл в упадок, его мрамор растащили на другие здания, а на месте выросла пшеница.

Эрнст Циллер раскопал его в 1869–70 годах, а в 1870 и 1875 годах на нём проходили Олимпиады Заппаса — ранняя попытка возродить древние игры. К Играм 1896 года бизнесмен George Averoff оплатил вторую реконструкцию; архитектор Anastasios Metaxas скопировал размеры и планировку римского стадиона, расположив ярусы вокруг U-образной беговой дорожки, и перестроил его из пентелийского мрамора. Статуя Averoff, открытая 5 апреля 1896 года, по-прежнему стоит снаружи. На следующий день король Георг I открыл Игры перед примерно 60 000 зрителей, и на стадионе проходили лёгкая атлетика, гимнастика, тяжёлая атлетика и борьба.

Позднее стадион принимал Промежуточные игры 1906 года, а в 2004 году — олимпийские соревнования по стрельбе из лука и финиш обоих марафонов. Здесь финиширует Афинский классический марафон и именно здесь Греция передаёт олимпийский огонь следующей стране-хозяйке. Концерты и церемонии тоже проходят здесь — от постановки «Аиды» в 1916 году до встречи национальной футбольной сборной после её победы 2004 года. Его проект повлиял на стадионы за рубежом: по его образцу в 1903 году был построен Гарвардский стадион.