Memlük sultanı el-Eşref Kayıtbay, 1477'de eski fenerin kalıntılarını ziyaret ettikten sonra kalenin yapılmasını emretti ve inşaat 1479'da tamamlandı. Kale, Osmanlı gücünün Akdeniz'de arttığı bir dönemde şehri denizden gelecek saldırılara karşı savunmak için yapıldı.

Fenerin kendisi, Arapların Mısır'ı fethinden sonra yüzyıllarca çalışmaya devam etmişti. 11. yüzyıldaki bir deprem sekizgen bölümünü hasara uğrattı; tabanı, tepesinde küçük bir cami bulunan bir gözetleme kulesi olarak kullanılmaya devam etti. 1303 ve 1323'teki iki şiddetli deprem geri kalanını yıktı. Kayıtbay'ın kalesi bu temeller üzerinde, sonradan İskenderiye valisi olan mimarı Kagmas el-İshaki'nin tasarımıyla yükseldi. Yapının sultana yüz bin altın dinardan fazlaya mal olduğu söylenir.

Planı yerinde kolayca okunur. Savunma kuleleriyle donatılmış bir dış duvar, yaklaşık 17550 metrekarelik alanın tamamını çevreler; iç duvar ise avluyu kuşatır ve içine kışla ve depo olarak kullanılan odalar yapılmıştır. Ziyaretçiler girişten avluyu geçerek kuzeybatı köşesindeki ana kuleye ulaşır: Her köşesinde savunma için çıkma balkonlar taşıyan yarım yuvarlak birer kule bulunan, üç katlı, devasa, kare bir burç. Kayıtbay kalenin içine bir cami de yaptırdı; burcun yakınındaki bir su deposu askerlere ve atlarına su sağlıyordu.

Sonraki hükümdarlar, bulunduğu konum nedeniyle kaleye dönmeye devam etti. Sultan Kansu Gavri garnizonunu güçlendirdi ve avlu kapısının yanına, kuleden silah ya da barut çıkaranın asılacağını bildiren bir fermanı mermere oydurdu. Osmanlılar Mısır'ı fethettikten sonra kaleye garnizon yerleştirdi; Fransız birlikleri 1798'de kaleyi ele geçirdi; Kavalalı Mehmed Ali Paşa da 1805'ten sonra surlarını onarıp kıyı toplarıyla donattı. İngilizlerin 11 Temmuz 1882'de İskenderiye'yi bombalaması kalede çatlaklar açtı ve batı cephesinde büyük gedikler oluşturdu.

Restorasyon 20. yüzyıl boyunca aşamalar hâlinde yapıldı: Savunma Bakanlığı 1904'te üst katları onardı, Kral Faruk bir kraliyet dinlenme evi düşüncesiyle hızlı bir yenileme emretti, 1952 devriminden sonra da deniz kuvvetleri burayı bir Denizcilik Müzesi'ne dönüştürdü. En büyük restorasyon çalışması 1984'te başladı; 2003'te ise başka koruma ve genişletme çalışmaları izledi.