Die Athener nennen es Kallimarmaro, „schöner Marmor“. In diesem Stadion wurden 1896 die ersten Olympischen Spiele der Neuzeit eröffnet, und die Marmorsitze, die Besucher sehen, sind der Wiederaufbau der 1890er-Jahre eines römischen Stadions an derselben Stelle.

Ab dem 6. Jahrhundert v. Chr. diente hier eine einfache Rennbahn den Panathenäischen Spielen, dem alle vier Jahre zu Ehren der Athena abgehaltenen Fest, wobei die Zuschauer auf den natürlichen Hängen saßen. Um 330 v. Chr. baute der Staatsmann Lykurg ein richtiges Stadion aus Porosstein, und Mitte des 2. Jahrhunderts n. Chr. ließ Herodes Atticus, ein in Athen geborener römischer Senator, es vollständig in pentelischem Marmor mit Plätzen für 50.000 Menschen neu errichten. In die Sitze waren Eulen, der Vogel der Athena, als Relief gemeißelt. Nachdem Theodosius I. im späten 4. Jahrhundert die alten Feste verboten hatte, verfiel das Stadion, sein Marmor wurde für andere Bauten abgetragen, und auf dem Gelände wuchs Weizen.

Ernst Ziller grub es 1869–70 aus, und 1870 und 1875 fanden hier die Zappas-Olympien statt, ein früher Versuch, die antiken Spiele wiederzubeleben. Für die Spiele von 1896 bezahlte der Geschäftsmann Georgios Averoff eine zweite Erneuerung; der Architekt Anastasios Metaxas übernahm Maße und Anlage des römischen Stadions, ordnete die Ränge um die U-förmige Bahn an und baute es in pentelischem Marmor neu. Eine Statue Averoffs, enthüllt am 5. April 1896, steht noch heute vor dem Stadion. Am nächsten Tag eröffnete König Georg I. vor schätzungsweise 60.000 Zuschauern die Spiele, und im Stadion wurden Leichtathletik, Turnen, Gewichtheben und Ringen ausgetragen.

Später war das Stadion Schauplatz der Olympischen Zwischenspiele 1906 und 2004 des olympischen Bogenschießens sowie des Zieleinlaufs beider Marathonläufe. Es ist Ziel des Athens Classic Marathon und der Ort, an dem Griechenland das olympische Feuer an das nächste Gastgeberland übergibt. Auch Konzerte und Zeremonien finden hier statt, von einer Aida-Aufführung 1916 bis zum Empfang der Fußballnationalmannschaft nach ihrem Sieg 2004. Seine Gestaltung prägte Stadien im Ausland: Das 1903 erbaute Harvard Stadium wurde ihm nachempfunden.