El organismo que gestiona los monumentos de la colina lo describe como el castillo más ligado a los orígenes del país, y la tradición sitúa dentro de sus muros el nacimiento de Afonso Henriques. Sus murallas trazan un contorno en forma de escudo en torno a un patio pequeño, con ocho torres rectangulares y una torre del homenaje central.
El primer castillo fue mandado construir en el siglo X por la condesa Mumadona Dias para proteger un monasterio que había fundado abajo, en el lugar que hoy ocupa la Colegiata de Nossa Senhora da Oliveira; un codicilo del 4 de diciembre de 968 ya lo menciona, con el nombre de Castillo de São Mamede, como recién construido para dar cobijo a frailes y monjas. A finales del siglo XI el conde Enrique lo reconstruyó y amplió como residencia, y de esa obra se conservan algunas hileras de grandes sillares cerca de la entrada. La batalla de São Mamede de 1128, que recibe su nombre de los campos donde tuvo lugar, inició la independencia de Portucale, el núcleo del futuro Portugal.
Lo que se ve hoy es en gran medida el castillo remodelado por el rey Dinis entre finales del siglo XIII y principios del siglo XIV, que añadió la torre del homenaje y las dependencias residenciales en un estilo gótico temprano; las dos torres que flanquean la puerta principal se construyeron por orden de Juan I. La guarnición resistió a Enrique II de Castilla en 1369. Después, la fortaleza fue deteriorándose poco a poco, sirvió de prisión política bajo el rey Miguel y, en 1836, los concejales de la ciudad llegaron a proponer derribarla para pavimentar las calles, un plan que nunca se llevó a cabo. Declarado monumento nacional en 1910, fue restaurado por el Estado y reabrió el 4 de junio de 1940; durante obras posteriores salió a la luz un pozo medieval.
El castillo comparte el Monte Latito con otros dos monumentos nacionales, y los visitantes suelen ver los tres juntos. Un poco más abajo en la ladera está la iglesia románica de São Miguel do Castelo, vinculada tradicionalmente al bautizo de D. Afonso Henriques. Cerca se alza el Paço dos Duques, el palacio construido para D. Afonso, 8.º conde de Barcelos, que más tarde llegó a ser duque de Bragança, hijo natural del rey Juan I. Junto a la torre sur del castillo, un medallón de bronce de D. Afonso Henriques está colocado sobre una gran roca, y en la ladera aún se conservan tramos de la antigua muralla de la ciudad que antaño se unía al castillo.




