Milano Dükü Francesco Sforza kaleyi 1450'den itibaren 14. yüzyıldan kalma bir Visconti kalesinin kalıntıları üzerinde yeniden inşa etti; bugün avlularında Milano belediye müzelerinden bir grup ve şehrin sanat koleksiyonları bulunuyor.

İlk kale olan Castello di Porta Giova'ya 1358'de II. Galeazzo Visconti başladı; kenarları 200 m uzunluğunda, duvarları 7 metreye varan kalınlıkta kare bir kaleye dönüşen yapı, 1447'de Altın Ambrosius Cumhuriyeti tarafından yıkıldı. Francesco Sforza alanı bir prens ikametgâhına dönüştürdü ve hâlâ onun adını taşıyan orta kuleyi tasarlaması için 1452'de heykeltıraş ve mimar Filarete'yi tuttu. 1494'ten itibaren Ludovico Sforza döneminde Leonardo da Vinci ve Bramante içerideki odaları boyadı; Leonardo 1498 dolaylarında Sala delle Asse'nin tavanını bitki motifleriyle süsledi. İspanyollar daha sonra kaleyi bir hisara dönüştürdü ve 1550'den itibaren çevresini 12 burçlu bir yıldız tahkimatla kuşattı; bunların çoğu Napolyon yönetimi sırasında kaldırıldı.

Bugün ayakta olanların büyük kısmı, İtalya'nın birleşmesinin ardından ordudan Milano'ya geçen kaleyi 1891 ile 1905 arasında şehir adına restore eden Luca Beltrami'nin eseri. Kale silah deposu olarak kullanılırken 1521'de havaya uçan Torre del Filarete, 16. yüzyıl çizimlerine dayanılarak 1900 ile 1905 arasında yeniden yapıldı ve Kral I. Umberto'ya adandı. Şehre bakan yüzdeki iki yuvarlak kulenin üst bölümleri de modern rekonstrüksiyonlar. 1943'teki Müttefik bombardımanı kaleye ağır hasar verdi; BBPR ortaklığı daha sonra onu müze olarak yeniden inşa etti.

Ana kapıdan geçince, Savoialı Bona'nın naipliği sırasında 1476'da yapılan Bona di Savoia Kulesi'nin ve Rocchetta'nın baktığı geniş bir avlu karşılıyor. Rocchetta, Sforza armasını taşıyan kendi kapısı ve üç yanı 15. yüzyıl revaklarıyla çevrili bir avlusu olan bir iç kale. Yanındaki Corte Ducale düklerin ikametgâhıydı; daha büyük loggiası, orada boyanmış bir fil freskosundan dolayı Loggiato dell'Elefante adını taşıyor. Ludovico Sforza'nın sipariş ettiği ve Bramante'ye atfedilen bir loggia köprüsü Torre Ducale'nin köşesinden geçiyor. Bir zamanlar kırsala bakan yüzde, eski tören alanı Parco Sempione'ye dönüştü.

Kalenin belediye müzeleri arasında, koleksiyonunda Andrea Mantegna'nın Trivulzio Madonnası ile Tiziano, Tintoretto, Vincenzo Foppa, Tiepolo ve Canaletto'nun resimleri bulunan Pinacoteca; silah dairesi ve duvar halısı salonu olan bir antik sanat müzesi; bir müzik aletleri müzesi; Milano Arkeoloji Müzesi'ne ait tarih öncesi buluntular ve Antika Mobilya ve Ahşap Heykel Müzesi var. Ayrı bir müze, Michelangelo'nun son heykeli Rondanini Pietà'ya ayrılmış. Kalenin içindeki şehir kütüphanesi Biblioteca Trivulziana, Leonardo da Vinci'nin yazı ve eskizlerinden oluşan bir defter olan Codex Trivulzianus'u ve Dante'nin İlahi Komedya'sının 1337 tarihli tezhipli bir el yazmasını saklıyor.