Αρχικά ήταν μία φυσική κοιλότητα του εδάφους ανάμεσα σε δύο παριλίσσια υψώματα, τους λόφους Άγρα και Αρδηττό. Διευθετήθηκε ως Στάδιο από τον Λυκούργο το 330-329 π.Χ. για τους αθλητικούς αγώνες στις εορτές των Μεγάλων Παναθηναίων. Στην τετραετία 140-144 μ.Χ. ο Ηρώδης Αττικός ανακαίνισε το Στάδιο, στη μορφή που η ανασκαφή του 1870 απεκάλυψε. Ηταν πεταλόσχημο, συνολικού μήκους στίβου 204,07 μ. και πλάτους 33,35 μ. Υπολογίζεται ότι χωρούσε 50.000 θεατές. Είχε κτιστές κλίμακες ανάμεσα στις κερκίδες. Στη σφενδόνη υπήρχε στοά με δωρικούς κίονες, όπως επίσης στοά υπήρχε και στην πρόσοψη. Ο Ηρώδης ανακαίνισε πιθανόν και την γέφυρα του Ιλισσού στην είσοδο του Σταδίου. Την έκανε μεγαλύτερη, με τρία τόξα. Ήταν ορατή έως το 1778, τμήμα της δε αποκαλύφθηκε σε ανασκαφή του 1958. Στα Ρωμαϊκά χρόνια μπορούσε να χρησιμοποιηθεί ως αρένα, με προσθήκη ενός ημικυκλικού τοίχου προς Β που αντιστοιχούσε στην σφενδόνη της νότιας πλευράς.


Η νεώτερη αναμόρφωση του Σταδίου έγινε από τον Γ. Αβέρωφ στα τέλη του 19ου αιώνα για τους αγώνες της πρώτης Ολυμπιάδας, μετά την αναβίωση των Ολυμπιακών Αγώνων το 1896.