Los atenienses lo llaman Kallimarmaro, «mármol hermoso». Es el estadio donde se inauguraron los primeros Juegos Olímpicos modernos en 1896, y los asientos de mármol que ven los visitantes son la reconstrucción de la década de 1890 de un estadio romano que ocupaba el mismo lugar.

Desde el siglo VI a. C., una sencilla pista de carreras servía aquí para los Juegos Panatenaicos, la fiesta que se celebraba cada cuatro años en honor de Atenea, con los espectadores sentados en las laderas naturales. Hacia 330 a. C., el estadista Licurgo construyó un verdadero estadio de piedra porosa, y a mediados del siglo II d. C. Herodes Ático, senador romano nacido en Atenas, lo reconstruyó por completo en mármol pentélico, con asientos para 50.000 personas. En las gradas se tallaron en relieve lechuzas, el ave de Atenea. Después de que Teodosio I prohibiera las antiguas fiestas a finales del siglo IV, el estadio cayó en ruinas, su mármol se llevó para otros edificios y en el lugar creció el trigo.

Ernst Ziller lo excavó en 1869–70, y en 1870 y 1875 acogió los Juegos Olímpicos de Zappas, un primer intento de recuperar los juegos antiguos. Para los Juegos de 1896, el empresario George Averoff costeó una segunda renovación; el arquitecto Anastasios Metaxas copió las dimensiones y la disposición del estadio romano, ordenando las gradas en torno a la pista en forma de U, y lo reconstruyó en mármol pentélico. Una estatua de Averoff, descubierta el 5 de abril de 1896, sigue en pie en el exterior. Al día siguiente, el rey Jorge I inauguró los Juegos ante unos 60.000 espectadores, según las estimaciones, y el estadio acogió atletismo, gimnasia, halterofilia y lucha.

Más tarde, el estadio albergó los Juegos Intercalados de 1906 y, en 2004, la competición olímpica de tiro con arco y la llegada de los dos maratones. Es la meta del Maratón Clásico de Atenas y el lugar donde Grecia entrega la llama olímpica al siguiente país anfitrión. También se usa para conciertos y ceremonias, desde una representación de Aida en 1916 hasta el recibimiento a la selección nacional de fútbol tras su victoria de 2004. Su diseño influyó en estadios de otros países: el Harvard Stadium, construido en 1903, se inspiró en él.