Son plan semi-circulaire s’incurve vers l’intérieur des terres, le côté rectiligne longeant la rivière. L’empereur Akbar reconstruisit en grès rouge de Dhaulpur un ancien fort de brique en ruine, connu sous le nom de Badalgarh, entre 1565 et 1573, et le fort resta la principale résidence des souverains moghols jusqu’en 1638, année où Shah Jahan transféra la capitale à Shahjahanabad, à Delhi. Il a été inscrit au patrimoine mondial de l’UNESCO en 1983 pour son importance à l’époque moghole.

Un fort se dressait ici bien avant les Moghols : il fut pris lors d’un raid ghaznévide à la fin du XIe siècle, et les sultans lodi firent d’Agra leur capitale et tinrent le fort jusqu’à la chute d’Ibrahim Lodi à la première bataille de Panipat en 1526. Humayun y fut couronné en 1530. Shah Jahan, petit-fils d’Akbar, qui construisit le Taj Mahal, remplaça après 1628 une grande partie du palais de grès rouge par des salles de marbre blanc. Son fils Aurangzeb le garda plus tard prisonnier dans le fort de 1658 jusqu’à sa mort en 1666, et en 1666 le chef marathe Shivaji, offensé à la cour d’Aurangzeb dans le Diwan-i-Khas, fut retenu dans le fort et s’en échappa. Jats, Moghols et Marathes se le disputèrent au XVIIIe siècle avant que les Britanniques le prennent en 1803. Sur les quelque 500 bâtiments qu’Abul Fazl dénombrait sous Akbar, moins de 30 structures mogholes subsistent, pour la plupart du côté sud-est face à la rivière ; les Britanniques ont déblayé une grande partie du reste pour y construire des casernes.

Deux grandes portes subsistent. La porte de Delhi, à l’ouest, construite vers 1568 comme entrée publique officielle, est décorée d’incrustations de marbre blanc et mène à une porte intérieure, la Hathi Pol, flanquée de deux éléphants de pierre grandeur nature avec leurs cornacs ; un pont-levis sur le fossé, une légère montée et un virage à angle droit entre les portes empêchaient les éléphants d’attaque de prendre de la vitesse. La partie nord du fort, y compris la porte de Delhi, est utilisée par l’armée indienne et fermée au public. L’entrée sud associe la porte intérieure d’Akbar, la porte Akbari, à la porte extérieure Amar Singh, ajoutée sous Aurangzeb et nommée couramment d’après le noble rajput Amar Singh Rathore.

Le principal palais d’Akbar qui subsiste est le Jahangiri Mahal, la plus grande résidence du fort, construite en grès rouge pour les femmes de la cour, avec des consoles et des arcs sculptés qui combinent des formes hindoues et islamiques autour d’une cour dotée d’une citerne octogonale de marbre. Devant lui se trouve le Hauz de Jahangir, un bassin taillé dans une seule pierre en 1611 et portant une inscription en persan. À côté, Shah Jahan a recouvert le Shah Jahani Mahal, en grès, d’un stuc blanc peint de fleurs pour qu’il ressemble à du marbre. Plus loin le long de la rivière, le Khas Mahal de marbre, demeure de ses filles Jahanara et Roshanara, a des plafonds dorés et des pavillons couverts de toits courbes de style bengali, et fait face à l’Anguri Bagh, ou jardin des Raisins, un charbagh divisé en quatre par des allées dallées.

Le Diwan-i-Am, la salle d’audience publique, fut le premier bâtiment que Shah Jahan commanda ici, en 1628 : une salle à piliers en grès rouge enduite de stuc à la chaux de coquillage pour ressembler à du marbre, avec un baldaquin de marbre pour le trône placé dans son mur est, depuis lequel des fenêtres grillagées permettaient aux femmes de la cour de regarder. Le Diwan-i-Khas, la salle d’audience privée, achevé vers 1637, a des piliers de marbre finement sculptés incrustés de fleurs en pierres semi-précieuses et donne sur une terrasse au bord de la rivière qui portait autrefois un trône blanc et un trône noir. Au nord du Diwan-i-Am, la Moti Masjid, ou mosquée des Perles, achevée en 1653, est une simple mosquée de marbre blanc posée sur un socle surélevé.

Le Musamman Burj octogonal, placé sur le plus grand bastion du fort face à la rivière, est l’endroit où les empereurs se montraient chaque jour à leurs sujets depuis un balcon jharokha. Shah Jahan l’a reconstruit en marbre incrusté de motifs de lianes et de fleurs, et c’est là qu’il serait mort en regardant le Taj Mahal. Sous le Diwan-i-Khas, le Shish Mahal était une salle de bain royale dont les murs et les plafonds sont couverts de minuscules morceaux de miroir. Le fort conserve aussi la porte de Ghaznin, une porte de deodar sculptée que les Britanniques ont rapportée du tombeau de Mahmoud de Ghazni en 1842, en prétendant à tort qu’il s’agissait d’une porte prise au temple de Somnath.