Sus casas, torres y murallas están construidas por completo con tapial, adobe, ladrillo de barro y madera, y todo el ksar se considera un excelente ejemplo de la arquitectura de tierra marroquí. La UNESCO lo incluyó en la lista del Patrimonio de la Humanidad en 1987.
La colina está fortificada desde la época almorávide, en el siglo XI, porque una importante ruta de caravanas transahariana subía por el valle del Ounila hacia el puerto de Tizi n'Tichka, uno de los pocos pasos a través del Atlas entre Marrakech y el valle del Draa. No se cree que ninguno de los edificios actuales sea anterior al siglo XVII, pero se levantaron con las mismas técnicas empleadas durante siglos. Cuando el valle perdió su valor estratégico en el siglo XX, la mayoría de las familias se trasladó al pueblo moderno, al otro lado del río, y solo unas pocas siguen viviendo dentro del antiguo ksar.
Dentro de una muralla defensiva con torres en las esquinas y una puerta, el pueblo apiña viviendas de todos los tamaños, desde casas modestas hasta altas casas torre cuyas partes superiores llevan decoración geométrica. Hay también una mezquita, un caravasar, varias kasbahs y un santuario morabito, el de Sidi Ali o Amer, además de una plaza pública y un cementerio musulmán y otro judío. En lo alto de la colina se alzan los restos de un gran granero fortificado, un agadir, que domina el ksar.
Los muros son en su mayoría una mezcla de tierra y paja que la lluvia va desgastando, de modo que los edificios de este tipo pueden empezar a desmoronarse en pocas décadas una vez abandonados. En Aït Benhaddou, los edificios más altos usan tapial hasta el primer piso y adobe, más ligero, por encima, para aliviar la carga de los muros. La UNESCO reconoce al ksar haber conservado su trazado y sus materiales auténticos, ya que las reparaciones siguen usando métodos tradicionales y evitan el hormigón; un comité local se ocupa del lugar.
La industria del cine contribuyó a la restauración. Las producciones rodadas aquí van desde The Man Who Would Be King (1975) y The Living Daylights (1987) hasta The Last Temptation of Christ (1988) y Queen of the Desert (2015), y el pueblo aparece también en episodios de Game of Thrones.
Cómo llegar
Un puente peatonal, terminado en 2011, cruza el río Ounila desde el pueblo moderno hasta el antiguo ksar.




