Ad önce kalenin 60 metre kadar yüksekliğindeki iç kulesine aitti, sonra bütün kaleye yayıldı. Portekizcede baştaki “a” bir artikeldir ve A harfi olarak değil, “ı”ya yakın bir sesle okunur.

Afonso de Albuquerque'nin filosu 1511'de Malakka'yı sultanlıktan aldı; Albuquerque, limanın Portekiz'in baharat ticaretine ve Çin'e giden yolunun dayanağı olabilmesi için kaleyi deniz kıyısındaki doğal bir tepenin çevresine inşa ettirdi. İşi yüzlerce köle yaptı; kısmen de kentin yıkılan camilerinden ve mezarlarından çıkan molozlar kullanıldı. Uzun surların ve dört büyük kulenin içinde bir cephanelik, kaptanın konutu, subay lojmanları ve kent evleri vardı; nüfus kaleye sığmaz hâle gelince 1586 dolaylarında eklemeler yapıldı.

Hollandalılar 1641'de Portekizlileri çıkardı, iç kuleyi yıktı ve dış surları genişletti. Kapıyı 1670'te yenilediler: Kemerinde “ANNO 1670” yazısı oyulmuştur, onun üzerinde de Hollanda Doğu Hindistan Şirketi'nin amblemini gösteren bir kabartma vardır. İngilizler Malakka'yı Hollandalılardan devraldığında kalenin yıkılmasını emretti ve kale neredeyse tamamen yerle bir edildi; ancak Santiago Kapısı, Stadthuys, kilise ve hapishaneyle birlikte kurtuldu.

O zamandan beri başka parçalar da yeniden gün yüzüne çıktı. 2004'te Dataran Pahlawan'daki inşaat çalışmaları sırasında Santiago Burcu adlı bir gözetleme kulesinin kalıntıları bulundu; Kasım 2006'da ise Malakka kentinde döner bir kule inşa edilirken Hollandalıların yaptığı Middelburg Burcu olduğu düşünülen yapının temelleri ortaya çıktı. Burç 2006–2007'de restore edildi, kule de başka bir yere taşındı.