Готический замок стоит на холме над рекой Бероунка и небольшим городком с тем же названием, в Среднечешском крае, примерно в 30 км к юго-западу от Праги. Карл IV сам наблюдал за строительными работами и внутренним убранством, и проект достиг кульминации в 1365 году, когда была освящена часовня Святого Креста в большой башне.

Замок поднимается по мысу на южной стороне холма Kněží Hora тремя террасами, каждая выше предыдущей. Императорский дворец занимает нижний уровень, над ним стоит Мариинская башня, а большая башня венчает вершину. Дворец имеет длину около 46 метров; на втором этаже расположены три комнаты, самая большая из которых — рыцарский зал, тогда как император жил на третьем этаже, а императрица со свитой — на четвёртом, куда вела винтовая лестница. Подход когда-то охраняли двое ворот с подъёмными мостами, вал с зубцами и ров.

Большая башня имеет высоту 60 метров и отдельно укреплена; толщина её стен — от 4 до 7,5 метра. В её центре находится часовня Святого Креста, сердце сокровищницы, где хранились важные государственные документы наряду с символами королевской и императорской власти. Строительство началось с башни колодца, в которую вода поступала по подземному каналу из ближайшего ручья и стояла столбом глубиной 25 метров — достаточно, чтобы хватало на несколько месяцев.

Роль сокровищницы втянула Карлштейн в войны последующих столетий. Имперские регалии были вывезены в Нюрнберг в 1421 году, после начала гуситских войн, а в 1422 году гуситские осаждающие под предводительством князя Сигизмунда Корибута метали катапультами через стены трупы и около 2 000 телег навоза. Чешские королевские драгоценности позднее вернулись и оставались почти два столетия, пока в 1619 году их не перевезли в Прагу. Шведские войска захватили замок в 1648 году, и он пришёл в упадок; его нынешний облик — результат неоготической перестройки Josef Mocker в 1887–1899 годах.