Sein halbkreisförmiger Grundriss wölbt sich landeinwärts, die gerade Seite verläuft am Fluss. Kaiser Akbar baute zwischen 1565 und 1573 eine ältere, verfallene Ziegelfestung namens Badalgarh mit rotem Sandstein aus Dhaulpur neu auf, und das Fort blieb die Hauptresidenz der Mogulherrscher, bis Shah Jahan 1638 die Hauptstadt nach Shahjahanabad in Delhi verlegte. Wegen seiner Bedeutung in der Mogulzeit wurde es 1983 in die Liste des UNESCO-Welterbes aufgenommen.

Schon lange vor den Moguln stand hier eine Festung: Im späten 11. Jahrhundert wurde sie bei einem Raubzug der Ghaznawiden eingenommen, und die Lodi-Sultane machten Agra zu ihrer Hauptstadt und hielten das Fort, bis Ibrahim Lodi 1526 in der Ersten Schlacht von Panipat fiel. Humayun wurde hier 1530 gekrönt. Akbars Enkel Shah Jahan, der Erbauer des Taj Mahal, ersetzte nach 1628 einen großen Teil des Palastes aus rotem Sandstein durch weiße Marmorhallen. Sein Sohn Aurangzeb hielt ihn später von 1658 bis zu seinem Tod 1666 im Fort gefangen, und 1666 wurde der Marathen-Führer Shivaji, der am Hof Aurangzebs im Diwan-i-Khas brüskiert worden war, im Fort festgehalten und entkam. Im 18. Jahrhundert kämpften Jats, Moguln und Marathen um das Fort, bevor die Briten es 1803 einnahmen. Von den rund 500 Gebäuden, die Abul Fazl unter Akbar zählte, sind weniger als 30 Mogulbauten erhalten, die meisten an der Südostseite zum Fluss hin; den Rest räumten die Briten großenteils für Kasernen ab.

Zwei große Tore sind erhalten. Das Delhi-Tor im Westen, um 1568 als offizieller öffentlicher Eingang erbaut, ist mit Einlagen aus weißem Marmor verziert und führt zu einem inneren Tor, dem Hathi Pol, das von zwei lebensgroßen steinernen Elefanten mit Reitern flankiert wird. Eine Zugbrücke über den Graben, ein leichter Anstieg und eine rechtwinklige Biegung zwischen den Toren verhinderten, dass angreifende Elefanten Fahrt aufnehmen konnten. Der nördliche Teil des Forts einschließlich des Delhi-Tors wird von der indischen Armee genutzt und ist für die Öffentlichkeit gesperrt. Am südlichen Eingang folgt auf das äußere Amar-Singh-Tor, das unter Aurangzeb hinzukam und im Volksmund nach dem Rajputen-Adligen Amar Singh Rathore benannt ist, Akbars inneres Akbari-Tor.

Akbars wichtigster erhaltener Palast ist der Jahangiri Mahal, die größte Residenz im Fort, für die Frauen des Hofes aus rotem Sandstein erbaut, mit gemeißelten Konsolen und Bögen, die hinduistische und islamische Formen verbinden, rund um einen Hof mit einer achteckigen Marmorzisterne. Davor steht Jahangirs Hauz, ein 1611 aus einem einzigen Stein gehauenes Badebecken mit persischer Inschrift. Gleich daneben ließ Shah Jahan den Shah Jahani Mahal aus Sandstein mit weißem, mit Blumen bemaltem Stuck überziehen, damit er wie Marmor aussah. Weiter am Fluss entlang hat der marmorne Khas Mahal, in dem seine Töchter Jahanara und Roshanara lebten, vergoldete Decken und Pavillons mit geschwungenen Dächern im bengalischen Stil; er blickt auf den Anguri Bagh, den Traubengarten, einen Charbagh, den gepflasterte Wege in vier Teile gliedern.

Der Diwan-i-Am, die Halle der öffentlichen Audienzen, war 1628 das erste Bauwerk, das Shah Jahan hier in Auftrag gab: eine Säulenhalle aus rotem Sandstein, mit Muschelkalkstuck verputzt, damit sie wie Marmor aussah, und mit einem marmornen Thronbaldachin in der Ostwand, von dem aus vergitterte Fenster den Frauen des Hofes das Zuschauen erlaubten. Der um 1637 vollendete Diwan-i-Khas, die Halle der privaten Audienzen, hat fein gemeißelte Marmorsäulen mit eingelegten Blumen aus Halbedelsteinen und blickt auf eine Terrasse am Fluss, auf der einst ein weißer und ein schwarzer Thron standen. Nördlich des Diwan-i-Am steht die 1653 vollendete Moti Masjid, die Perlmoschee, eine schlichte Moschee aus weißem Marmor auf einem erhöhten Sockel.

Im achteckigen Musamman Burj auf der größten Bastion des Forts zum Fluss hin zeigten sich die Kaiser jeden Tag von einem Jharokha-Balkon aus ihren Untertanen. Shah Jahan baute ihn in Marmor mit eingelegten Ranken- und Blumenmotiven neu, und hier soll er mit Blick auf das Taj Mahal gestorben sein. Unterhalb des Diwan-i-Khas lag der Shish Mahal, ein königlicher Baderaum, dessen Wände und Decken mit winzigen Spiegelglasstücken bedeckt sind. Im Fort befindet sich außerdem das Ghaznin-Tor, eine geschnitzte Tür aus Deodarholz, die die Briten 1842 vom Grabmal Mahmuds von Ghazni hierherbrachten, mit der falschen Behauptung, es sei ein aus dem Somnath-Tempel geraubtes Tor.