L’organisme gestionnaire des monuments de la colline le décrit comme le château le plus lié aux origines du pays, et la tradition situe entre ses murs la naissance d’Afonso Henriques. Ses murailles dessinent un contour en forme d’écu autour d’une petite cour, avec huit tours rectangulaires et un donjon central.

Le premier château a été ordonné au Xe siècle par la comtesse Mumadona Dias pour protéger un monastère qu’elle avait fondé en contrebas, à l’emplacement occupé aujourd’hui par la collégiale Nossa Senhora da Oliveira ; un codicille du 4 décembre 968 le mentionne déjà, sous le nom de château de São Mamede, comme récemment bâti pour abriter les moines et les moniales. À la fin du XIe siècle, le comte Henri l’a reconstruit et agrandi comme résidence, et quelques rangées de grands blocs de pierre de taille près de l’entrée subsistent de ces travaux. La bataille de São Mamede de 1128, qui doit son nom aux champs où elle a eu lieu, a marqué le début de l’indépendance du Portucale, noyau du futur Portugal.

Ce qui se dresse aujourd’hui est en grande partie le château remanié par le roi Denis entre la fin du XIIIe siècle et le début du XIVe siècle, qui a ajouté le donjon et les logements dans une manière gothique précoce ; les deux tours qui flanquent la porte principale ont été construites sur ordre de Jean Ier. La garnison a tenu bon face à Henri II de Castille en 1369. Par la suite, la forteresse a lentement décliné, a servi de prison politique sous le roi Miguel, et en 1836 des conseillers municipaux ont même proposé de la démolir pour paver les rues, projet qui n’a jamais été exécuté. Déclaré monument national en 1910, il a été restauré par l’État et rouvert le 4 juin 1940 ; lors de travaux ultérieurs, un puits médiéval est apparu.

Le château partage le Monte Latito avec deux autres monuments nationaux, et les visiteurs voient généralement les trois ensemble. Un peu plus bas sur la pente se trouve l’église romane de S. Miguel do Castelo, traditionnellement liée au baptême de D. Afonso Henriques. Tout près s’élève le Paço dos Duques, palais construit pour D. Afonso, 8e comte de Barcelos, qui devint plus tard duc de Bragance, fils naturel du roi Jean Ier. À côté de la tour sud du château, un médaillon de bronze de D. Afonso Henriques est fixé sur un grand rocher, et des tronçons de l’ancienne muraille de la ville qui rejoignait autrefois le château subsistent sur la colline.