Francesco Sforza, Herzog von Mailand, baute es ab 1450 auf den Ruinen einer Visconti-Burg aus dem 14. Jahrhundert neu auf, und heute beherbergen seine Höfe eine Reihe städtischer Museen Mailands und die Kunstsammlungen der Stadt.

Die erste Burg, das Castello di Porta Giova, wurde 1358 von Galeazzo II. Visconti begonnen und wuchs zu einer quadratischen Festung mit 200 m langen Seiten und bis zu 7 Meter dicken Mauern heran, bevor die Goldene Ambrosianische Republik sie 1447 zerstörte. Francesco Sforza machte aus dem Ort eine fürstliche Residenz und beauftragte 1452 den Bildhauer und Architekten Filarete mit dem Entwurf des Mittelturms, der bis heute seinen Namen trägt. Unter Ludovico Sforza malten ab 1494 Leonardo da Vinci und Bramante Räume im Inneren aus; um 1498 schmückte Leonardo die Decke der Sala delle Asse mit Pflanzenmotiven. Die Spanier machten das Kastell später zur Zitadelle und umgaben es ab 1550 mit einer sternförmigen Festung aus 12 Bastionen, von denen die meisten unter napoleonischer Herrschaft beseitigt wurden.

Vieles, was heute steht, ist das Werk von Luca Beltrami, der das Kastell zwischen 1891 und 1905 für die Stadt restaurierte, nachdem es nach der Einigung Italiens vom Militär an Mailand übergegangen war. Die Torre del Filarete, 1521 in die Luft geflogen, als das Kastell als Waffenlager diente, wurde zwischen 1900 und 1905 nach Zeichnungen aus dem 16. Jahrhundert wieder aufgebaut und König Umberto I. gewidmet. Auch die oberen Teile der beiden Rundtürme auf der Stadtseite sind moderne Rekonstruktionen. Alliierte Bombenangriffe beschädigten das Kastell 1943 schwer, und das Büro BBPR baute es danach als Museum wieder auf.

Hinter dem Haupttor liegt ein großer Hof, überragt vom Turm der Bona von Savoyen, der 1476 während ihrer Regentschaft errichtet wurde, und von der Rocchetta, einer inneren Festung mit eigenem Tor mit dem Sforza-Wappen und einem Hof, der an drei Seiten von Arkaden aus dem 15. Jahrhundert umgeben ist. Daneben war die Corte Ducale die Residenz der Herzöge; ihre größere Loggia heißt nach dem dort gemalten Fresko eines Elefanten Loggiato dell’Elefante. Eine Bramante zugeschriebene Loggienbrücke, ein Auftrag Ludovico Sforzas, führt an der Ecke der Torre Ducale hinüber. Auf der Seite, die einst zum Land hin lag, wurde aus dem früheren Exerzierplatz der Parco Sempione.

Zu den städtischen Museen im Kastell gehören die Pinacoteca, deren Sammlung Andrea Mantegnas Madonna Trivulzio und Gemälde von Tizian, Tintoretto, Vincenzo Foppa, Tiepolo und Canaletto umfasst; ein Museum für antike Kunst mit Waffenkammer und Tapisseriensaal; ein Musikinstrumentenmuseum; prähistorische Funde des Archäologischen Museums von Mailand; und das Museum für antike Möbel und Holzskulptur. Ein eigenes Museum ist der Pietà Rondanini gewidmet, Michelangelos letzter Skulptur. Die Biblioteca Trivulziana, die Stadtbibliothek im Kastell, bewahrt den Codex Trivulzianus, ein Notizbuch mit Schriften und Skizzen Leonardo da Vincis, und eine illuminierte Handschrift von Dantes Göttlicher Komödie aus dem Jahr 1337.