Место выбрали ради контроля: оно господствует над проходом между Ривьерой Во и долиной Роны, быстрой дорогой в Италию, и смотрит через воду на савойский берег, так что стоявший здесь гарнизон мог удерживать путь и взимать на нём пошлину. Считается, что название происходит от вальденсского слова, означающего плоский камень или площадку; как Castrum Quilonis он упоминается с 1195 года. Сегодня замком владеет кантон Во, а Швейцария относит его к культурным ценностям национального значения.

Старейшая часть — квадратный донжон XI века, возведённый для контроля пути, шедшего из Бургундии к перевалу Большой Сен-Бернар. К 1150 году, как показывает хартия, замок находился в руках Савойского дома, а с середины того века графы Савойские использовали его как летнюю резиденцию, держа на озере флот судов. Граф Пётр II значительно расширил его в 1248 и 1266–7 годах, и в то время мастер James of Saint George добавил его характерные окна.

Савойские правители держали здесь и узников. Самым известным был Франсуа де Бонивар, женевский монах и историк, приор Сен-Виктора в Женеве, которого заперли на шесть лет с 1530 года, пока бернская армия не взяла замок в 1536 году и не освободила всех узников. Затем Шильон был резиденцией бернского фогта до 1798 года, когда Во изгнал бернские власти; при последовавшей французской оккупации он служил складом боеприпасов и оружия.

В конце XIX века замок реставрировали в одном из первых проектов точного восстановления памятника с помощью археологии и истории, под руководством Association for the Restoration of Chillon, основанной в 1887 году. Работа считалась образцом, и германский император Вильгельм II расспрашивал о ней, планируя реконструкцию Haut-Koenigsbourg. Осмотр ведёт через три двора, четыре больших зала и несколько спален, среди них Camera domini, которой пользовался герцог Савойский и которая расписана фресками XIV века, а также воссозданные интерьеры, такие как большая спальня, зал и погребные кладовые в скале. В течение года замок также проводит выставки, мастер-классы и мероприятия.

С конца XVIII века Шильон привлекал писателей, среди них лорд Байрон, Виктор Гюго, Мэри Шелли, Жан-Жак Руссо, Гюстав Флобер и Александр Дюма. История Бонивара вдохновила Байрона, после посещения, написать в 1816 году поэму «Шильонский узник», и считается, что поэт вырезал своё имя на столбе в темнице. Эжен Делакруа написал узника из поэмы, Гюстав Курбе несколько раз писал замок, живя в изгнании неподалёку, а Генри Джеймс отправил туда свою героиню в «Дэйзи Миллер».