Innerhalb ihrer Mauern liegt ein bewohntes Viertel mit blau-weiß gestrichenen Gassen, an einem Ende ein monumentales almohadisches Tor, am anderen ein streng angelegter Andalusischer Garten. Sie gehört zur 2012 eingetragenen UNESCO-Welterbestätte Rabat.

1150 oder 1151 errichtete Abd al-Mu'min, der almohadische Kalif, hier an der Stelle eines älteren befestigten Ribats eine Zitadelle mit Palast und Moschee. Im frühen 17. Jahrhundert übernahmen aus Spanien vertriebene Morisken, viele aus der Stadt Hornachos, die Kasbah und führten die Republik Salé, einen Stützpunkt der als Salé Rovers bekannten Korsaren, bis der alawidische Sultan Moulay Rashid sie 1666 unter seine Kontrolle brachte. Der Name stammt von den Udaya, einem Heeresstamm, den Moulay Ismail hier ansiedelte; an der Kasbah haftet er erst seit dem 19. Jahrhundert, nachdem der Rest des Stammes aus Fès vertrieben worden war und sich ihnen angeschlossen hatte.

Der Haupteingang ist das Bab Oudaia, auch Bab al-Kbir genannt, das oben am Hang über der Stadt steht und zwischen 1195 und 1199 unter Ya'qub al-Mansur erbaut wurde. Sein Hufeisenbogen ist von einem gemeißelten Band aus Darj wa Ktaf umgeben, einem Gitter aus ineinander verschlungenen geometrischen Formen, innerhalb eines Rahmens aus kufischen Koranversen, mit Arabesken und Jakobsmuscheln in den Ecken. Am Fuß des Bogens finden sich schlangenförmige Gebilde, die wahrscheinlich Aale darstellen, ein in der marokkanischen Architektur sehr seltenes Motiv. Das Tor diente eher der Repräsentation als der Verteidigung, und im Inneren bilden drei Kammern einen abgewinkelten Durchgang zur inneren Fassade, die ganz ähnlich geschmückt ist.

Vom Tor aus führt die Rue Jamaa durch den älteren oberen Teil der Kasbah an der Alten Moschee vorbei, ihrem ältesten erhaltenen Bau, der aus dem Jahr 1150 stammt; ihr Minarett geht auf eine Restaurierung im 18. Jahrhundert zurück, das Werk eines englischen Korsaren namens Ahmed el-Inglizi. Die Straße endet an einer breiten Plattform am Nordostrand, die die Korsaren im frühen 17. Jahrhundert für Signale per Semaphor anlegten, mit Blick über die Flussmündung. Unterhalb davon im Norden stand eine Sqala, eine Geschützplattform, und etwas flussaufwärts der Korsarenturm aus dem 18. Jahrhundert, der sich nur 3 Meter über das Wasser erhob.

Der untere, südliche Teil stammt überwiegend aus der Alawidenzeit. Hier ließ Moulay Ismail Ende des 17. Jahrhunderts einen Palastpavillon um einen Innenhof errichten, außen an einem Turm zu erkennen; er wurde 1915 Museum und nach einer Restaurierung 2006 das Nationale Schmuckmuseum, mit Zellij-geschmückten Räumen und einem ehemaligen Badehaus. Daneben liegt der Andalusische Garten, zwischen 1915 und 1918 auf dem alten Paradeplatz des Palasts angelegt, ein streng gestalteter Garten mit Bougainvilleen und Zitrusbäumen nach dem Vorbild der Gärten von al-Andalus. In der Nähe befinden sich Café und Terrasse, bekannt als Café Maure.