El lugar se eligió para ejercer el control: domina el paso entre la Riviera vaudoise y el valle del Ródano, el camino rápido hacia Italia, y mira por encima del agua a la costa saboyana, de modo que una guarnición aquí podía dominar la ruta y cobrar un peaje. Se cree que el nombre procede de una palabra valdense que designa una piedra plana o plataforma; como Castrum Quilonis aparece documentado desde 1195. Hoy el castillo es propiedad del cantón de Vaud, y Suiza lo clasifica como bien cultural de importancia nacional.
La parte más antigua es una torre del homenaje cuadrada del siglo XI, levantada para controlar la ruta que iba de Borgoña hacia el paso del Gran San Bernardo. Hacia 1150, una carta muestra el castillo en manos de la casa de Saboya, y desde mediados de ese siglo los condes de Saboya lo utilizaron como residencia de verano y mantuvieron una flota en el lago. El conde Pedro II lo amplió mucho en 1248 y 1266–7, y en esa época el maestro James of Saint George añadió sus característicos ventanales.
Los señores de Saboya también encerraban aquí a prisioneros. El más conocido fue François de Bonivard, monje e historiador ginebrino, prior de San Víctor en Ginebra, que estuvo encerrado seis años desde 1530 hasta que un ejército bernés tomó el castillo en 1536 y liberó a todos los presos. Chillon pasó entonces a ser la sede del bailío bernés hasta 1798, cuando Vaud expulsó a las autoridades bernesas; durante la ocupación francesa que siguió sirvió de almacén de municiones y armas.
A finales del siglo XIX el castillo se restauró en uno de los primeros proyectos que reconstruyeron fielmente un monumento con ayuda de la arqueología y la historia, dirigido por la Asociación para la Restauración de Chillon, fundada en 1887. La obra se tomó como modelo, y el emperador alemán Guillermo II se interesó por ella cuando planeaba la reconstrucción de Haut-Koenigsbourg. La visita recorre tres patios, cuatro grandes salas y varios dormitorios, entre ellos la Camera domini, usada por el duque de Saboya y decorada con pinturas murales del siglo XIV, junto a interiores recreados como el gran dormitorio, la sala y las bodegas excavadas en la roca. El castillo organiza además exposiciones, talleres y actividades a lo largo del año.
Desde finales del siglo XVIII Chillon atrajo a escritores, entre ellos Lord Byron, Victor Hugo, Mary Shelley, Jean-Jacques Rousseau, Gustave Flaubert y Alexandre Dumas. La historia de Bonivard inspiró a Byron, tras una visita, su poema de 1816 The Prisoner of Chillon, y se dice que el poeta grabó su nombre en una columna de la mazmorra. Eugène Delacroix pintó al prisionero del poema, Gustave Courbet pintó el castillo varias veces mientras vivía exiliado en las cercanías, y Henry James llevó allí a su heroína en Daisy Miller.




