Su planta semicircular se curva hacia el interior, con el lado recto a lo largo del río. El emperador Akbar reconstruyó entre 1565 y 1573, en arenisca roja de Dhaulpur, un fuerte de ladrillo más antiguo y en ruinas conocido como Badalgarh, y el fuerte siguió siendo la residencia principal de los soberanos mogoles hasta 1638, cuando Shah Jahan trasladó la capital a Shahjahanabad, en Delhi. Fue inscrito como Patrimonio de la Humanidad por la UNESCO en 1983 por su importancia en el periodo mogol.

Aquí hubo un fuerte mucho antes que los mogoles: fue tomado en una incursión gaznávida a finales del siglo XI, y los sultanes Lodi hicieron de Agra su capital y conservaron el fuerte hasta que Ibrahim Lodi cayó en la primera batalla de Panipat, en 1526. Humayun fue coronado aquí en 1530. El nieto de Akbar, Shah Jahan, que construyó el Taj Mahal, sustituyó a partir de 1628 buena parte del palacio de arenisca roja por salas de mármol blanco. Su hijo Aurangzeb lo mantuvo después prisionero en el fuerte desde 1658 hasta su muerte en 1666, y en 1666 el líder maratha Shivaji, desairado en la corte de Aurangzeb en el Diwan-i-Khas, estuvo retenido en el fuerte y escapó. Jats, mogoles y marathas se lo disputaron en el siglo XVIII antes de que los británicos lo tomaran en 1803. De los aproximadamente 500 edificios que Abul Fazl contó en tiempos de Akbar, quedan menos de 30 construcciones mogolas, la mayoría en el lado sureste, frente al río; los británicos despejaron gran parte del resto para levantar cuarteles.

Se conservan dos grandes puertas. La Puerta de Delhi, al oeste, construida hacia 1568 como entrada pública oficial, está decorada con incrustaciones de mármol blanco y conduce a una puerta interior, la Hathi Pol, flanqueada por dos elefantes de piedra de tamaño natural con sus jinetes; un puente levadizo sobre el foso, una ligera subida y un giro en ángulo recto entre las puertas impedían que los elefantes atacantes cogieran velocidad. La parte norte del fuerte, incluida la Puerta de Delhi, la utiliza el Ejército indio y está cerrada al público. La entrada sur combina la puerta interior Akbari, de Akbar, con la puerta exterior de Amar Singh, añadida bajo Aurangzeb y llamada popularmente así por el noble rajput Amar Singh Rathore.

El principal palacio de Akbar que se conserva es el Jahangiri Mahal, la mayor residencia del fuerte, construido en arenisca roja para las mujeres de la corte, con ménsulas y arcos tallados que combinan formas hindúes e islámicas en torno a un patio con una cisterna octogonal de mármol. Delante se encuentra el Hauz de Jahangir, una bañera tallada en una sola piedra en 1611 y con una inscripción en persa. Al lado, Shah Jahan recubrió el Shah Jahani Mahal, de arenisca, con estuco blanco pintado con flores para que pareciera de mármol. Más adelante, junto al río, el Khas Mahal de mármol, hogar de sus hijas Jahanara y Roshanara, tiene techos dorados y pabellones con tejados curvos de estilo bengalí, y mira al Anguri Bagh, o Jardín de las Uvas, un charbagh dividido en cuatro por senderos pavimentados.

El Diwan-i-Am, la Sala de Audiencias Públicas, fue el primer edificio que Shah Jahan encargó aquí, en 1628: una sala de columnas de arenisca roja enlucida con estuco de cal de conchas para que pareciera mármol, con un baldaquino de mármol para el trono en su muro oriental, desde cuyas ventanas con celosía podían mirar las mujeres de la corte. El Diwan-i-Khas, la Sala de Audiencias Privadas, terminado hacia 1637, tiene pilares de mármol finamente tallados con flores de piedras semipreciosas y da a una terraza junto al río en la que había un trono blanco y otro negro. Al norte del Diwan-i-Am, la Moti Masjid o Mezquita de la Perla, terminada en 1653, es una sencilla mezquita de mármol blanco que se alza sobre un plinto elevado.

El octogonal Musamman Burj, situado en el mayor bastión del fuerte, frente al río, es el lugar desde donde los emperadores se mostraban cada día a sus súbditos desde un balcón jharokha. Shah Jahan lo reconstruyó en mármol con incrustaciones de motivos de enredaderas y flores, y se dice que fue aquí donde murió contemplando el Taj Mahal. Bajo el Diwan-i-Khas, el Shish Mahal era una sala de baño real cuyas paredes y techos están cubiertos de diminutos trozos de espejo. El fuerte guarda también la Puerta de Ghazni, una puerta tallada de deodar que los británicos trajeron de la tumba de Mahmud de Ghazni en 1842, afirmando erróneamente que era una puerta arrebatada al templo de Somnath.