Tepedeki anıtları yöneten kurum onu ülkenin kökenleriyle en çok bağlantılı kale olarak tanımlar; gelenek, Afonso Henriques'in bu duvarların içinde doğduğunu söyler. Duvarları küçük bir avlunun çevresinde kalkana benzer bir çizgi çizer; sekiz dikdörtgen kulesi ve ortada bir iç kalesi vardır.

İlk kaleyi 10. yüzyılda Kontes Mumadona Dias, aşağıda, bugün Nossa Senhora da Oliveira Kolej Kilisesi'nin bulunduğu yerde kurduğu bir manastırı korumak için yaptırdı; 4 Aralık 968 tarihli bir vasiyet eki kaleden São Mamede Kalesi adıyla, rahip ve rahibeleri korumak için yeni yapılmış bir yapı olarak söz eder. 11. yüzyılın sonunda Kont Henrique kaleyi konutu olarak yeniden yaptırıp genişletti; girişin yakınındaki büyük kesme taş sıralarının bir kısmı o çalışmadan kalmadır. Adını yapıldığı kırlardan alan 1128 São Mamede Muharebesi, geleceğin Portekiz'inin çekirdeği olan Portucale'nin bağımsızlığını başlattı.

Bugün ayakta duran yapı büyük ölçüde Kral Dinis'in 13. yüzyılın sonu ile 14. yüzyılın başı arasında yeniden düzenlediği kaledir; Dinis erken gotik üslupta iç kaleyi ve konut bölümlerini ekledi. Ana kapının iki yanındaki kuleler ise I. João'nun emriyle yapıldı. Garnizon 1369'da Kastilya Kralı II. Enrique'ye karşı direndi. Sonrasında kale yavaş yavaş harap oldu, Kral Miguel döneminde siyasi hapishane olarak kullanıldı; 1836'da belediye meclisi üyeleri sokakları döşemek için kaleyi yıkmayı bile önerdi, ama bu plan hiç uygulanmadı. 1910'da ulusal anıt ilan edilen kale devlet tarafından onarıldı ve 4 Haziran 1940'ta yeniden açıldı; sonraki çalışmalar sırasında Orta Çağ'dan kalma bir kuyu ortaya çıktı.

Kale, Monte Latito'yu başka iki ulusal anıtla paylaşır ve ziyaretçiler genellikle üçünü birlikte görür. Yamacın hemen aşağısında, gelenekte D. Afonso Henriques'in vaftiziyle ilişkilendirilen romanesk S. Miguel do Castelo Kilisesi vardır. Yakınlarda, Kral I. João'nun evlilik dışı oğlu olan ve sonradan Duque de Bragança olan 8. Barcelos Kontu D. Afonso için yapılan Paço dos Duques sarayı yükselir. Kalenin güney kulesinin yanında, büyük bir kayaya D. Afonso Henriques'in bronz bir madalyonu yerleştirilmiştir; bir zamanlar kaleye bağlanan eski kasaba surunun bazı kesimleri yamaçta hâlâ ayaktadır.