Der Ort wurde gewählt, um zu kontrollieren: Er beherrscht den Durchgang zwischen der Waadtländer Riviera und dem Rhonetal, dem schnellen Weg nach Italien, und blickt über das Wasser zur savoyischen Küste, sodass eine Besatzung hier den Weg halten und Zoll erheben konnte. Der Name soll von einem waldensischen Wort für eine flache Steinplatte oder Plattform stammen; als Castrum Quilonis ist er ab 1195 belegt. Heute gehört das Schloss dem Kanton Waadt, und die Schweiz führt es als Kulturgut von nationaler Bedeutung.

Der älteste Teil ist ein quadratischer Bergfried aus dem 11. Jahrhundert, errichtet, um den Weg von Burgund zum Grossen Sankt Bernhard zu kontrollieren. Spätestens 1150 zeigt eine Urkunde das Schloss im Besitz des Hauses Savoyen, und ab der Mitte dieses Jahrhunderts nutzten die Grafen von Savoyen es als Sommerresidenz und hielten eine Flotte auf dem See. Graf Peter II. ließ es 1248 und 1266–7 stark erweitern, und damals fügte Master James of Saint George die charakteristischen Fenster hinzu.

Die savoyischen Herrscher hielten hier auch Gefangene. Der bekannteste war François de Bonivard, ein Genfer Mönch und Historiker und Prior von St. Victor in Genf, der ab 1530 sechs Jahre lang eingesperrt war, bis ein Berner Heer 1536 das Schloss einnahm und alle Gefangenen befreite. Danach war Chillon Sitz des Berner Landvogts, bis 1798 die Waadt die Berner Obrigkeit vertrieb; während der anschließenden französischen Besatzung diente es als Lager für Munition und Waffen.

Ende des 19. Jahrhunderts wurde das Schloss restauriert – in einem der ersten Projekte, bei denen ein Baudenkmal mithilfe von Archäologie und Geschichte originalgetreu wiederhergestellt wurde, geleitet von der 1887 gegründeten Vereinigung zur Restaurierung von Chillon. Die Arbeiten galten als Vorbild, und der deutsche Kaiser Wilhelm II. erkundigte sich danach, als er den Wiederaufbau der Hohkönigsburg plante. Der Rundgang führt durch drei Höfe, vier große Säle und mehrere Schlafgemächer, darunter die Camera domini, die der Herzog von Savoyen bewohnte und die mit Wandmalereien aus dem 14. Jahrhundert ausgemalt ist, dazu nachgestaltete Räume wie das große Schlafgemach, den Saal und die Kellergewölbe. Das Schloss bietet außerdem das ganze Jahr über Ausstellungen, Workshops und Veranstaltungen.

Ab dem späten 18. Jahrhundert zog Chillon Schriftsteller an, darunter Lord Byron, Victor Hugo, Mary Shelley, Jean-Jacques Rousseau, Gustave Flaubert und Alexandre Dumas. Bonivards Geschichte regte Byron nach einem Besuch zu seinem Gedicht The Prisoner of Chillon von 1816 an, und der Dichter soll seinen Namen in eine Säule im Kerker geritzt haben. Eugène Delacroix malte den Gefangenen aus dem Gedicht, Gustave Courbet malte das Schloss mehrmals, als er in der Nähe im Exil lebte, und Henry James schickte seine Heldin in Daisy Miller dorthin.