Yarım daire biçimli planı karaya doğru kıvrılır, düz kenarı ise nehir boyunca uzanır. İmparator Ekber, Badalgarh olarak bilinen eski, harap bir tuğla kaleyi 1565 ile 1573 arasında Dhaulpur'un kırmızı kumtaşıyla yeniden yaptırdı; kale, Şah Cihan'ın başkenti Delhi'deki Şahcihanabad'a taşıdığı 1638'e kadar Babür hükümdarlarının ana konutu olarak kaldı. Babür dönemindeki önemi nedeniyle 1983'te UNESCO Dünya Mirası listesine alındı.

Burada Babürlerden çok önce de bir kale vardı: 11. yüzyılın sonlarında bir Gazneli akınında ele geçirildi; Lodi sultanları Agra'yı başkent yaptı ve kaleyi, İbrahim Lodi 1526'daki Birinci Panipat Savaşı'nda yenilene kadar elinde tuttu. Hümayun 1530'da burada taç giydi. Ekber'in torunu, Tac Mahal'i yaptıran Şah Cihan, 1628'den sonra kırmızı kumtaşı sarayın büyük kısmını beyaz mermer salonlarla değiştirdi. Oğlu Evrengzib daha sonra onu 1658'den 1666'daki ölümüne kadar kalede tutsak etti; 1666'da da Divan-ı Has'ta Evrengzib'in sarayında aşağılanan Maratha önderi Şivaci kalede tutuldu ve kaçtı. 18. yüzyılda Catlar, Babürler ve Marathalar kale için savaştı; ardından İngilizler 1803'te kaleyi aldı. Ebu'l Fazl'ın Ekber döneminde saydığı yaklaşık 500 yapıdan 30'dan az Babür yapısı kalmıştır ve çoğu güneydoğu tarafında, nehre bakar; geri kalanın büyük kısmını İngilizler kışlalar için temizledi.

İki büyük kapı ayakta kalmıştır. Batıdaki, 1568 civarında resmî halk girişi olarak inşa edilen Delhi Kapısı beyaz mermer kakmalarla süslüdür ve iki yanında üzerinde süvarileri olan iki gerçek boyutlu taş filin bulunduğu bir iç kapıya, Hathi Pol'a açılır; hendeğin üzerindeki bir asma köprü, hafif bir yokuş ve kapılar arasındaki dik açılı bir dönüş, saldıran fillerin hız kazanmasını önlüyordu. Kalenin Delhi Kapısı dahil kuzey kesimi Hindistan Ordusu tarafından kullanılır ve ziyarete kapalıdır. Güney girişinde Ekber'in iç Akbari Kapısı ile Evrengzib döneminde eklenen ve halk arasında Racput soylusu Amar Singh Rathore'un adıyla anılan dış Amar Singh Kapısı bir arada yer alır.

Ekber'in ayakta kalan başlıca sarayı, kaledeki en büyük konut olan Jahangiri Mahal'dir; saraylı kadınlar için kırmızı kumtaşından yapılmıştır ve sekizgen mermer bir sarnıcın bulunduğu bir avlunun çevresinde, Hindu ve İslami biçimleri birleştiren oyma konsollar ve kemerler taşır. Önünde, 1611'de tek bir taştan oyulmuş, Farsça yazıtlı bir yıkanma teknesi olan Cihangir'in Havuzu durur. Hemen yanındaki kumtaşı Shah Jahani Mahal'i Şah Cihan, mermer gibi görünsün diye çiçek desenleriyle boyanmış beyaz alçıyla kaplattı. Nehir boyunca daha ileride, kızları Cihanara ve Ravşenara'nın konutu olan mermer Khas Mahal'in yaldızlı tavanları ve kıvrık Bengal üslubunda örtülü köşkleri vardır; taş döşeli yollarla dörde bölünmüş bir çarbağ olan Üzüm Bahçesi Anguri Bagh'a bakar.

Halka Açık Kabul Salonu Divan-ı Am, Şah Cihan'ın burada 1628'de yaptırdığı ilk yapıdır: mermer gibi görünsün diye deniz kabuğu kireciyle sıvanmış, kırmızı kumtaşından sütunlu bir salon; doğu duvarına yerleştirilmiş taht için mermer bir baldaken vardır ve saraylı kadınlar perdeli pencerelerden olanları izleyebiliyordu. 1637 civarında tamamlanan Özel Kabul Salonu Divan-ı Has'ın yarı değerli taşlardan çiçeklerle bezeli, ince oyulmuş mermer sütunları vardır; bir zamanlar beyaz ve siyah birer taht bulunan nehir kıyısındaki bir terasa bakar. Divan-ı Am'ın kuzeyinde, 1653'te tamamlanan Moti Masjid, yani İnci Mescit, yükseltilmiş bir kaide üzerinde duran sade, beyaz mermer bir camidir.

Kalenin nehre bakan en büyük burcunun üzerindeki sekizgen Musamman Burj, imparatorların her gün bir jharokha balkonundan tebaalarına göründükleri yerdir. Şah Cihan onu sarmaşık ve çiçek desenleriyle kakmalı mermerden yeniden yaptırdı; onun burada Tac Mahal'e bakarak öldüğü söylenir. Divan-ı Has'ın altındaki Shish Mahal, duvarları ve tavanları minik ayna parçalarıyla kaplı bir kraliyet hamamıydı. Kalede ayrıca, İngilizlerin 1842'de Gazneli Mahmud'un türbesinden getirdiği ve yanlış bir iddiayla Somnath tapınağından alınmış bir kapı olduğunu ileri sürdüğü oymalı, deodar ağacından bir kapı olan Gazne Kapısı da korunur.