Les Athéniens l’appellent Kallimarmaro, « beau marbre ». C’est le stade où se sont ouverts les premiers Jeux olympiques modernes en 1896, et les sièges de marbre que voient les visiteurs sont la reconstruction des années 1890 d’un stade romain qui se dressait au même endroit.

À partir du VIe siècle av. J.-C., une simple piste de course servait ici aux Jeux panathénaïques, la fête célébrée tous les quatre ans en l’honneur d’Athéna, les spectateurs s’asseyant sur les pentes naturelles. Vers 330 av. J.-C., l’homme d’État Lycurgue a construit un véritable stade en pierre de poros, et au milieu du IIe siècle apr. J.-C., Hérode Atticus, un sénateur romain né à Athènes, l’a entièrement reconstruit en marbre du Pentélique avec des places pour 50 000 personnes. Des chouettes, l’oiseau d’Athéna, étaient sculptées en relief sur les gradins. Après que Théodose Ier eut interdit les anciennes fêtes à la fin du IVe siècle, le stade est tombé en ruine, son marbre a été emporté pour d’autres bâtiments, et le blé a poussé sur le site.

Ernst Ziller l’a fouillé en 1869–70, et en 1870 et 1875, il a accueilli les Jeux olympiques de Zappas, une des premières tentatives de faire revivre les jeux antiques. Pour les Jeux de 1896, l’homme d’affaires George Averoff a financé une seconde remise en état ; l’architecte Anastasios Metaxas a copié les dimensions et le plan du stade romain, en disposant les gradins autour de la piste en U, et l’a reconstruit en marbre du Pentélique. Une statue d’Averoff, dévoilée le 5 avril 1896, se dresse toujours à l’extérieur. Le lendemain, le roi Georges Ier a ouvert les Jeux devant environ 60 000 spectateurs selon les estimations, et le stade a accueilli l’athlétisme, la gymnastique, l’haltérophilie et la lutte.

Le stade a ensuite accueilli les Jeux intercalaires de 1906 et, en 2004, l’épreuve olympique de tir à l’arc et l’arrivée des deux marathons. C’est le point d’arrivée du Marathon classique d’Athènes et le lieu où la Grèce remet la flamme olympique à la nation hôte suivante. Des concerts et des cérémonies s’y tiennent aussi, d’une représentation d’Aïda en 1916 à l’accueil réservé à l’équipe nationale de football après sa victoire de 2004. Sa conception a influencé des stades à l’étranger : le Harvard Stadium, construit en 1903, s’en est inspiré.