Организация, управляющая памятниками холма, называет его замком, наиболее связанным с происхождением страны, а по преданию, Афонсу Энрикеш родился в его стенах. Стены образуют контур, напоминающий щит, вокруг небольшого двора, с восемью прямоугольными башнями и центральным донжоном.
Первый замок в X веке приказала построить графиня Mumadona Dias для защиты основанного ею внизу монастыря, на месте, которое сейчас занимает коллегиальная церковь Nossa Senhora da Oliveira; в кодицилле от 4 декабря 968 года он уже упоминается под названием замок Сан-Мамеде как недавно построенный для защиты монахов и монахинь. В конце XI века граф Генрих перестроил и расширил его как свою резиденцию, и несколько рядов больших тёсаных блоков у входа сохранились от этой работы. Битва при Сан-Мамеде 1128 года, названная по полям, где она произошла, положила начало независимости Portucale, ядра будущей Португалии.
То, что стоит сегодня, — в основном замок, перестроенный королём Диниш между концом XIII века и началом XIV века, который добавил донжон и жилые помещения в раннеготическом духе; две башни по сторонам главных ворот построены по приказу Жуана I. Гарнизон выстоял против Генриха II Кастильского в 1369 году. Затем крепость медленно приходила в упадок, служила политической тюрьмой при короле Мигеле, а в 1836 году городские советники даже предложили разобрать её для мощения улиц, но этот план так и не был осуществлён. Объявленный национальным памятником в 1910 году, замок был отреставрирован государством и вновь открыт 4 июня 1940 года; во время более поздних работ обнаружили средневековый колодец.
Замок делит холм Monte Latito с двумя другими национальными памятниками, и посетители обычно осматривают все три вместе. Чуть ниже по склону стоит романская церковь S. Miguel do Castelo, по традиции связанная с крещением D. Afonso Henriques. Рядом поднимается Paço dos Duques, дворец, построенный для D. Afonso, 8-го графа Barcelos, позднее ставшего Duque de Bragança, внебрачного сына короля Жуана I. У южной башни замка на большом камне укреплён бронзовый медальон D. Afonso Henriques, а на склоне холма сохранились участки старой городской стены, когда-то соединявшей город с замком.




