Dentro de sus murallas hay un barrio habitado de callejuelas pintadas de azul y blanco, con una monumental puerta almohade en un extremo y un Jardín Andaluz de trazado formal en el otro. Forma parte del sitio de Rabat inscrito como Patrimonio de la Humanidad por la UNESCO en 2012.

En 1150 o 1151, Abd al-Mu'min, el califa almohade, levantó aquí una ciudadela, con un palacio y una mezquita, en el lugar de un ribat fortificado anterior. A principios del siglo XVII, moriscos expulsados de España, muchos de ellos de la villa de Hornachos, se hicieron con la kasba y gobernaron la República de Salé, base de los corsarios conocidos como corsarios de Salé, hasta que el sultán alauí Moulay Rashid los sometió en 1666. El nombre procede de los udaya, una tribu militar asentada aquí por Moulay Ismail; no quedó ligado a la kasba hasta el siglo XIX, cuando el resto de la tribu fue expulsado de Fez y se unió a ellos.

La entrada principal es Bab Oudaia, también llamada Bab al-Kbir, que se alza cuesta arriba dominando la ciudad y se construyó entre 1195 y 1199 bajo Ya'qub al-Mansur. Su arco de herradura está envuelto en una banda tallada de darj wa ktaf, un entramado de formas geométricas entrelazadas, dentro de un marco de versículos coránicos en escritura cúfica, con arabescos y conchas en las enjutas. Al pie del arco hay formas serpenteantes que probablemente representan anguilas, un motivo muy raro en la arquitectura marroquí. La puerta era más ceremonial que defensiva, y en su interior tres cámaras forman un paso en recodo hasta la fachada interior, decorada de forma muy parecida.

Desde la puerta, la Rue Jamaa recorre la parte alta, la más antigua de la kasba, y pasa junto a la Mezquita Antigua, su edificio más antiguo conservado, que data de 1150; su alminar corresponde a una restauración del siglo XVIII, obra de un corsario inglés llamado Ahmed el-Inglizi. La calle termina en una amplia plataforma en el borde nororiental, construida por los corsarios a principios del siglo XVII para hacer señales semafóricas, con vistas sobre la desembocadura del río. Debajo, al norte, había una sqala, una plataforma de artillería, y justo río arriba la Torre de los Corsarios, del siglo XVIII, que se alzaba solo 3 metros sobre el agua.

La parte baja, al sur, data sobre todo de la época alauí. Aquí Moulay Ismail construyó a finales del siglo XVII un pabellón palaciego en torno a un patio, señalado en el exterior por una torre; se convirtió en museo en 1915 y, tras una restauración en 2006, en el Museo Nacional de la Joyería, con salas decoradas con zellige y un antiguo baño. Al lado se encuentra el Jardín Andaluz, trazado entre 1915 y 1918 sobre la antigua explanada de desfiles del palacio, un jardín formal de buganvillas y cítricos inspirado en los de al-Ándalus. Muy cerca está el café con terraza conocido como Café Maure.