El conjunto de 83 edificios data en gran parte de 1601 a 1609, cuando Ikeda Terumasa, que recibió el castillo de Tokugawa Ieyasu tras la batalla de Sekigahara, lo reconstruyó y lo amplió con tres fosos. Sobrevivió sin daños graves a las demoliciones de la era Meiji, al bombardeo de Himeji en 1945 y al gran terremoto de Hanshin de 1995, y en diciembre de 1993 se convirtió en uno de los primeros sitios de Japón inscritos en la lista del Patrimonio Mundial de la UNESCO.

En 1333 Akamatsu Norimura levantó aquí un primer fuerte; en 1346 lo sustituyó el castillo de Himeyama, que el clan Kuroda había convertido en el castillo de Himeji hacia 1561 y que Toyotomi Hideyoshi amplió, añadiendo en 1581 una torre de tres pisos. Ikeda derribó esa torre y construyó la actual. En 1617 tomó el relevo Honda Tadamasa, que añadió varios edificios, entre ellos la Torre del Tocador para la princesa Sen. Tras el abandono del castillo en 1871, un coronel del ejército, Nakamura Shigeto, lo salvó de la demolición prevista; un monumento de piedra en su honor se encuentra dentro de la primera puerta, la puerta Hishi.

La torre principal alcanza 46,4 metros en el corazón del conjunto y se une a tres torres menores formando un solo bloque. Desde fuera parece tener cinco plantas, pero en su interior hay seis y un sótano. La primera planta se conoce como la «sala de los mil tatamis» por sus más de 330 esteras de tatami, y en sus muros hay soportes que antaño sostenían arcabuces y lanzas. La tercera y la cuarta planta tienen plataformas junto a las ventanas para arrojar piedras y pequeñas estancias ocultas donde los defensores podían esperar a los atacantes. Dos grandes pilares recorren la torre de abajo arriba; el occidental, de ciprés japonés, se sustituyó durante la restauración Shōwa de 1956 a 1964 por dos troncos unidos en la tercera planta. Las ventanas de la sexta planta miran sobre la ciudad.

El acceso a la torre es en sí mismo una defensa. Puertas, patios y murallas están dispuestos de modo que quien sube a la torre tiene que rodear el conjunto en espiral; desde la puerta Hishi la torre está a solo 130 metros en línea recta, pero el camino mide 325 metros, es empinado y estrecho y a veces vuelve sobre sí mismo. Unas 1.000 troneras redondas, triangulares y cuadradas, matacanes para arrojar piedras y almacenes de arroz, sal y agua muestran cómo se preparó el castillo para un asedio que nunca llegó. De sus 84 puertas originales se conservan 21, muchas de ellas con nombres de letras del silabario iroha.

Varias leyendas están ligadas al castillo. En el recinto todavía se señala el pozo de Okiku, relacionado con la historia de fantasmas Banshū Sarayashiki, en la que Okiku, acusada injustamente de perder unos platos valiosos, es asesinada y arrojada a un pozo. La «piedra de la anciana viuda», una muela de molino que, según se cuenta, una pobre anciana regaló a Hideyoshi cuando le faltaba piedra, puede verse bajo una red metálica en uno de los muros. Junto al castillo se encuentra Kōko-en, un jardín japonés creado en 1992 para el 100.º aniversario de la ciudad.