Su mole de tres plantas se apoya en grandes torres esquineras cuadradas y rectangulares, cuyos muros exteriores llevan los motivos geométricos y los nichos típicos de las regiones bereberes de los oasis del sur de Marruecos. Balcones volados con ventanas dan al patio de entrada, y las ventanas superiores están protegidas con rejas de hierro.

La tradición oral atribuye a los Imzwarn, una poderosa familia local, la construcción original de la kasbah en el siglo XVII, pero fue la familia Glaoui la que se hizo con ella y la amplió en el siglo XIX. En su apogeo, a finales del siglo XIX, dominaba el punto de encuentro de varios valles fluviales, entre ellos el del Draa y el del Dadès, en las rutas comerciales del Sáhara. Thami El Glaoui, miembro de la familia, fue pachá de Marrakech durante todo el periodo colonial francés.

Al terminar el dominio de los Glaoui, la ocuparon personas sin hogar y el edificio se deterioró. Entró en la Lista del Patrimonio Nacional de Marruecos en 1954, y la familia Glaoui la vendió al municipio de Ouarzazate en 1972. En la década de 1990 se restauró una pequeña parte con ayuda de la UNESCO, en el marco del CERKAS, el centro creado a finales de la década de 1980 para conservar las kasbahs del sur, y esa sección está abierta a los visitantes. Algunas familias siguen viviendo en partes no restauradas.

Dentro de la sección restaurada, varias salas conservan su decoración y sus techos tataoui de caña trenzada. Entre los edificios no restaurados hay una antigua residencia de caíd de la época del caíd Hammadi, que ejerció el cargo de 1882 a 1939, ricamente decorada con yesería tallada, pinturas murales y arcos ornamentados que muestran la influencia de las ciudades imperiales de Marruecos. La kasbah ha servido de escenario de rodaje y aparece en Gladiator y Prince of Persia.