El castillo gótico se alza sobre una colina por encima del río Berounka y del pequeño municipio del mismo nombre, en la región de Bohemia Central, a unos 30 km al suroeste de Praga. Carlos IV supervisó personalmente las obras y la decoración interior, y el proyecto culminó en 1365, cuando se consagró la Capilla de la Santa Cruz, dentro de la gran torre.

El castillo asciende por un promontorio en la ladera sur de la colina Kněží Hora en tres terrazas, cada una más alta que la anterior. El palacio imperial ocupa el nivel más bajo, la torre mariana se levanta por encima y la gran torre corona la cima. El palacio mide unos 46 metros de largo; su primera planta tiene tres salas, la mayor de ellas la sala de los caballeros, mientras que el emperador vivía en la segunda planta y la emperatriz y su séquito en la tercera, a la que se llegaba por una escalera de caracol. El acceso estaba protegido antiguamente por dos puertas cerradas con puentes levadizos, una muralla almenada y un foso.

La gran torre mide 60 metros de altura y está fortificada por separado, con muros de entre 4 y 7,5 metros de grosor. En su centro se encuentra la Capilla de la Santa Cruz, el corazón del tesoro, que guardaba importantes documentos del Estado junto a los símbolos del poder real e imperial. Las obras empezaron por la torre del pozo, que recibía agua por un canal subterráneo desde un arroyo cercano y contenía una columna de agua de 25 metros de profundidad, suficiente para varios meses.

Su papel de cámara del tesoro arrastró a Karlštejn a las guerras de los siglos siguientes. Las insignias imperiales se trasladaron a Núremberg en 1421, tras el estallido de las guerras husitas, y en 1422 los sitiadores husitas, al mando del príncipe Segismundo Korybut, lanzaron por encima de los muros con catapultas cadáveres y unas 2.000 carretadas de estiércol. Las joyas de la corona de Bohemia volvieron más tarde y permanecieron casi dos siglos, hasta que se trasladaron a Praga en 1619. Las tropas suecas tomaron el castillo en 1648 y este cayó en decadencia; su aspecto actual es fruto de la reconstrucción neogótica de Josef Mocker, entre 1887 y 1899.