Die Anlage aus 83 Gebäuden stammt größtenteils aus den Jahren 1601 bis 1609, als Ikeda Terumasa, dem Tokugawa Ieyasu die Burg nach der Schlacht von Sekigahara übertragen hatte, sie neu errichtete und mit drei Gräben erweiterte. Die Abrisse der Meiji-Zeit, die Bombardierung Himejis 1945 und das Große Hanshin-Erdbeben von 1995 überstand sie ohne ernsthafte Schäden, und im Dezember 1993 wurde sie eine der ersten UNESCO-Welterbestätten Japans.
Eine erste Befestigung errichtete Akamatsu Norimura hier 1333; 1346 trat an ihre Stelle die Burg Himeyama, die der Kuroda-Klan bis 1561 zur Burg Himeji umbaute und die Toyotomi Hideyoshi erweiterte, der 1581 einen dreistöckigen Hauptturm hinzufügte. Ikeda ließ diesen Turm abreißen und den heutigen bauen. 1617 übernahm Honda Tadamasa die Burg und fügte Gebäude hinzu, darunter den Ankleideturm für Prinzessin Sen. Nachdem die Burg 1871 aufgegeben worden war, bewahrte ein Oberst der Armee, Nakamura Shigeto, sie vor dem geplanten Abriss; ein Gedenkstein für ihn steht hinter dem ersten Tor, dem Hishi-Tor.
Der Hauptturm erhebt sich 46,4 Meter hoch im Herzen der Anlage und ist mit drei kleineren Türmen zu einer einzigen Gruppe verbunden. Von außen scheint er fünf Stockwerke zu haben, innen sind es jedoch sechs und ein Untergeschoss. Das erste Stockwerk heißt wegen seiner mehr als 330 Tatami-Matten „Raum der tausend Matten“, und an seinen Wänden hängen Gestelle, in denen einst Luntenschlossgewehre und Speere lagen. Im dritten und vierten Stock gibt es an den Fenstern Plattformen zum Steinewerfen und kleine versteckte Kammern, in denen die Verteidiger auf Angreifer warten konnten. Zwei mächtige Pfeiler führen durch den ganzen Turm; der westliche aus japanischer Zypresse wurde bei der Shōwa-Restaurierung von 1956 bis 1964 durch zwei Stämme ersetzt, die im dritten Stock miteinander verbunden sind. Die Fenster des sechsten Stocks blicken über die Stadt.
Schon der Weg zum Hauptturm ist Teil der Verteidigung. Tore, Burghöfe und Mauern sind so angeordnet, dass jeder, der zum Turm hinaufsteigt, sich spiralförmig um die Anlage winden muss; vom Hishi-Tor ist der Turm in Luftlinie nur 130 Meter entfernt, der Weg aber ist 325 Meter lang, steil und eng und führt mitunter wieder zurück. Rund 1.000 runde, dreieckige und quadratische Schießscharten, Schächte zum Abwerfen von Steinen sowie Speicher für Reis, Salz und Wasser zeigen, wie die Burg auf eine Belagerung vorbereitet war, die nie kam. Von den ursprünglich 84 Toren sind 21 erhalten, viele davon nach Zeichen der Iroha-Silbenreihe benannt.
Mit der Burg sind mehrere Legenden verbunden. Der Brunnen der Okiku, der mit der Geistergeschichte Banshū Sarayashiki verknüpft ist, in der Okiku, zu Unrecht für den Verlust kostbarer Teller verantwortlich gemacht, getötet und in einen Brunnen geworfen wird, wird auf dem Gelände noch heute gezeigt. Der „Stein der alten Witwe“, ein Mühlstein, den eine arme alte Frau Hideyoshi geschenkt haben soll, als ihm die Steine ausgingen, ist unter einem Drahtnetz in einer der Mauern zu sehen. Neben der Burg liegt Kōko-en, ein japanischer Garten, der 1992 zum 100. Jubiläum der Stadt angelegt wurde.



