Son volume de trois étages est ancré par de grandes tours d’angle carrées et rectangulaires dont les murs extérieurs portent les motifs géométriques et les niches typiques des régions d’oasis berbères du sud du Maroc. Des balcons en surplomb, avec des fenêtres, donnent sur la cour d’entrée, et les fenêtres supérieures sont protégées par des barreaux de fer.

La tradition orale attribue aux Imzwarn, une puissante famille locale, la première construction de la kasbah au XVIIe siècle, mais ce sont les Glaoui qui s’en emparèrent et l’agrandirent au XIXe siècle. À son apogée, à la fin du XIXe siècle, elle commandait le point de rencontre de plusieurs vallées fluviales, dont le Drâa et le Dadès, sur les routes commerciales sahariennes. Thami El Glaoui, membre de la famille, fut pacha de Marrakech pendant toute la période coloniale française.

Après la fin du pouvoir des Glaoui, des squatteurs s’y installèrent et le bâtiment tomba en ruine. Il fut inscrit sur la liste du patrimoine national marocain en 1954 et vendu par la famille Glaoui à la municipalité d’Ouarzazate en 1972. Une petite partie a été restaurée dans les années 1990 avec l’aide de l’UNESCO sous l’égide du CERKAS, le centre créé à la fin des années 1980 pour conserver les kasbahs du Sud, et cette section est ouverte aux visiteurs. Des familles vivent encore dans certaines des parties non restaurées.

Dans la section restaurée, plusieurs salles conservent leur décor et des plafonds tataoui en roseaux tressés. Parmi les bâtiments non restaurés se trouve une ancienne résidence de qaïd datant de l’époque du qaïd Hammadi, qui exerça ses fonctions de 1882 à 1939, richement décorée de stuc sculpté, de peintures murales et d’arcs ornés qui montrent l’influence des villes impériales du Maroc. La kasbah a servi de décor de film, apparaissant dans Gladiator et Prince of Persia.