Francesco Sforza, duque de Milán, lo reconstruyó a partir de 1450 sobre las ruinas de un castillo de los Visconti del siglo XIV, y hoy sus patios albergan un conjunto de museos cívicos de Milán y las colecciones de arte de la ciudad.

El primer castillo, el Castello di Porta Giova, lo empezó Galeazzo II Visconti en 1358 y llegó a ser una fortaleza cuadrada de 200 m de lado y muros de hasta 7 metros de grosor, antes de que la Áurea República Ambrosiana lo destruyera en 1447. Francesco Sforza convirtió el lugar en una residencia principesca y contrató en 1452 al escultor y arquitecto Filarete para diseñar la torre central que aún lleva su nombre. Bajo Ludovico Sforza, a partir de 1494, Leonardo da Vinci y Bramante pintaron salas del interior; hacia 1498, Leonardo decoró el techo de la Sala delle Asse con motivos vegetales. Más tarde, los españoles convirtieron el castillo en ciudadela y a partir de 1550 lo rodearon de una fortificación en estrella de 12 bastiones, la mayoría de los cuales se derribaron durante el dominio napoleónico.

Buena parte de lo que se ve hoy es obra de Luca Beltrami, que restauró el castillo para la ciudad entre 1891 y 1905, después de que pasara del ejército a Milán tras la unificación de Italia. La Torre del Filarete, volada en 1521 cuando el castillo servía de depósito de armas, se reconstruyó entre 1900 y 1905 siguiendo dibujos del siglo XVI y se dedicó al rey Humberto I. Las partes altas de las dos torres redondas del lado de la ciudad son también reconstrucciones modernas. Los bombardeos aliados de 1943 dañaron gravemente el castillo, y el estudio BBPR lo reconstruyó después como museo.

Tras la puerta principal se abre un gran patio dominado por la Torre de Bona de Saboya, construida en 1476 durante su regencia, y por la Rocchetta, un reducto interior con su propia puerta, que lleva el escudo de los Sforza, y un patio rodeado en tres de sus lados por arcadas del siglo XV. Junto a ella, la Corte Ducale era la residencia de los duques; su logia mayor se llama Loggiato dell'Elefante por el fresco de un elefante pintado en ella. Un puente con logia atribuido a Bramante, encargado por Ludovico Sforza, cruza en la esquina de la Torre Ducale. En el lado que antes daba al campo, el antiguo campo de maniobras se convirtió en el Parco Sempione.

Entre los museos cívicos del castillo figuran la Pinacoteca, cuya colección incluye la Madonna Trivulzio de Andrea Mantegna y pinturas de Tiziano, Tintoretto, Vincenzo Foppa, Tiepolo y Canaletto; un museo de arte antiguo con armería y sala de tapices; un museo de instrumentos musicales; hallazgos prehistóricos del Museo Arqueológico de Milán, y el Museo del Mueble Antiguo y de la Escultura en Madera. Un museo aparte está dedicado a la Piedad Rondanini, la última escultura de Miguel Ángel. La Biblioteca Trivulziana, la biblioteca municipal situada en el castillo, guarda el Códice Trivulzio, un cuaderno de escritos y bocetos de Leonardo da Vinci, y un códice iluminado de 1337 de la Divina comedia de Dante.