Atinalılar ona “güzel mermer” anlamında Kallimarmaro der. İlk modern Olimpiyat Oyunları 1896'da bu stadyumda açıldı; ziyaretçilerin gördüğü mermer oturma yerleri, aynı yerde duran bir Roma stadyumunun 1890'larda yeniden yapılmış hâlidir.

MÖ 6. yüzyıldan itibaren burada, Athena onuruna dört yılda bir düzenlenen Panathenaia Oyunları için basit bir yarış pisti vardı; seyirciler doğal yamaçlara otururdu. MÖ 330 dolaylarında devlet adamı Lykurgos poros taşından gerçek bir stadyum yaptırdı; MS 2. yüzyılın ortasında da Atina doğumlu Romalı senatör Herodes Atticus stadyumu baştan sona Pentelikon mermeriyle, 50.000 kişilik oturma yeriyle yeniden yaptırdı. Oturma yerlerine Athena'nın kuşu olan baykuşlar kabartma olarak oyuldu. I. Theodosius 4. yüzyılın sonlarında eski festivalleri yasaklayınca stadyum harabeye döndü, mermeri başka yapılar için götürüldü ve alanda buğday yetişti.

Ernst Ziller stadyumu 1869–70'te kazdı; stadyum 1870 ve 1875'te, antik oyunları yeniden canlandırmaya yönelik erken bir girişim olan Zappas Olimpiyatları'na sahne oldu. 1896 Oyunları için işadamı George Averoff ikinci bir yenilemenin masrafını karşıladı; mimar Anastasios Metaxas Roma stadyumunun ölçülerini ve düzenini aynen kopyalayarak basamakları U biçimli pistin çevresine dizdi ve stadyumu Pentelikon mermeriyle yeniden yaptı. 5 Nisan 1896'da açılan bir Averoff heykeli hâlâ dışarıda durur. Ertesi gün Kral I. George, tahminen 60.000 seyircinin önünde Oyunları açtı; stadyumda atletizm, jimnastik, halter ve güreş yarışmaları yapıldı.

Stadyum daha sonra 1906 Ara Olimpiyat Oyunları'na, 2004'te de Olimpiyat okçuluk yarışmalarına ve iki maratonun bitişine ev sahipliği yaptı. Atina Klasik Maratonu'nun bitiş noktasıdır; Yunanistan Olimpiyat ateşini bir sonraki ev sahibi ülkeye burada teslim eder. Stadyum konserler ve törenler için de kullanılır: 1916'daki bir Aida sahnelemesinden, millî futbol takımının 2004'teki zaferinin ardından yapılan karşılamaya kadar. Tasarımı yurt dışındaki stadyumları da etkiledi: 1903'te yapılan Harvard Stadyumu onu örnek aldı.