Белая оштукатуренная главная башня и малые башни дали замку названия Shirasagi-jō, «Замок белой цапли», и Hakuro-jō, «Замок малой белой цапли». Комплекс из 83 построек относится в основном к 1601–1609 годам: тогда Ikeda Terumasa, получивший замок от Токугавы Иэясу после битвы при Сэкигахаре, перестроил и расширил его, добавив три рва. Замок пережил разрушения эпохи Мэйдзи, бомбардировку Химэдзи в 1945 году и Великое землетрясение Хансин 1995 года без серьёзного ущерба, а в декабре 1993 года стал одним из первых объектов Всемирного наследия ЮНЕСКО в Японии.

Первое укрепление появилось здесь в 1333 году, его построил Akamatsu Norimura; в 1346 году на его месте возник замок Himeyama, к 1561 году клан Kuroda превратил его в замок Химэдзи, а Тоётоми Хидэёси, добавивший в 1581 году трёхъярусную главную башню, расширил его. Ikeda снёс эту башню и построил нынешнюю. В 1617 году замок перешёл к Honda Tadamasa, который добавил новые постройки, в том числе Башню для переодевания принцессы Сэн (Dressing Tower for Princess Sen). После того как в 1871 году замок был заброшен, армейский полковник Nakamura Shigeto спас его от запланированного сноса; каменный памятник ему стоит у первых ворот, ворот Hishi.

Главная башня высотой 46,4 м возвышается в центре комплекса и соединена тремя малыми башнями в единую группу. Снаружи кажется, что в ней пять этажей, но внутри их шесть и ещё подвал. Первый этаж называют «комнатой в тысячу циновок» из-за более чем 330 татами, а на его стенах сохранились стойки, на которых когда-то держали фитильные ружья и копья. На третьем и четвёртом этажах у окон есть площадки для метания камней и небольшие скрытые комнаты, где защитники могли поджидать нападающих. Сквозь всю башню проходят два больших столба; западный, из японского кипариса, во время реставрации эпохи Сёва в 1956–1964 годах заменили двумя стволами, соединёнными на третьем этаже. Из окон шестого этажа открывается вид на город.

Сам подход к башне — это уже оборона. Ворота, дворы и стены расположены так, что каждому, кто поднимается к башне, приходится обходить комплекс по спирали: от ворот Hishi до башни по прямой всего 130 м, но путь составляет 325 м, он крутой, узкий и местами возвращается назад. Около 1000 бойниц круглой, треугольной и квадратной формы, желоба для сбрасывания камней и склады для риса, соли и воды показывают, что замок готовили к осаде, которой так и не случилось. Из 84 первоначальных ворот сохранились 21; многие из них названы по знакам слоговой азбуки ироха.

С замком связано несколько легенд. На территории до сих пор показывают колодец Окику (Okiku's Well), связанный с историей о привидении Banshū Sarayashiki: Окику, которую несправедливо обвинили в потере драгоценных тарелок, убили и бросили в колодец. Под проволочной сеткой в одной из стен можно увидеть «Камень старой вдовы» (Old Widow's Stone) — жернов, который, как говорят, подарила Хидэёси бедная старуха, когда ему не хватало камня. Рядом с замком находится сад Kōko-en, японский сад, созданный в 1992 году к 100-летию города.