La primera parte la construyó en la década de 1860 Si Musa, gran visir del sultán Muhammad ibn Abd al-Rahman; las inscripciones de las salas de su Gran Riad las fechan en 1866–7. Su hijo Ba Ahmed, gran visir del joven sultán Abdelaziz y verdadero gobernante de Marruecos desde 1894 hasta su muerte en 1900, la amplió hasta convertirla en un auténtico palacio, con la mayor parte de las alas meridionales, el Gran Patio y un parque privado al que se llegaba por un puente sobre la calle. El arquitecto fue Muhammad ibn Makki al-Misfiwi, de Safi. Se dice que el nombre al-Bahia, «la Brillante», era el de la esposa favorita de Ba Ahmed.

A la muerte de Ba Ahmed el palacio pasó a la corona y fue saqueado en cuestión de horas por orden del sultán. Madani el-Glaoui se hizo con él en 1908 y añadió un piso superior a algunas partes, y desde 1912, bajo el Protectorado francés, Lyautey vivió aquí como residente general. Tras la independencia sirvió al rey Mohammed V antes de pasar al Ministerio de Cultura, que lo abrió a los visitantes.

Los visitantes entran por una puerta de arco de herradura y recorren un largo camino ajardinado hasta el palacio. El Pequeño Riad, un jardín cuadrado dividido en cuatro por senderos y rodeado de salas decoradas, incluye la sala del consejo de Ba Ahmed. Más allá, el Gran Patio de 1896–7 es el espacio más llamativo: mide 50 por 30 metros, está pavimentado con mármol italiano de Carrara y lo enmarca una colorida galería de madera que da a unas 80 habitaciones que se cree alojaban el harén, con un gran salón en su extremo este que conserva algunos de los mejores techos pintados del edificio. Al norte, el Gran Riad de la época de Si Musa aún tiene árboles plantados en el siglo XIX.

El Ministerio de Cultura describe cuatro patios principales, cada uno distinto, con fuentes y jardines, además de un baño morisco y salas del tesoro. Por todas partes, los muros lucen yesería tallada con inscripciones árabes, motivos geométricos y muqarnas, y los suelos están revestidos de mármol y zellige. Ba Ahmed hizo traer los materiales de todo Marruecos: Tetuán aportó los azulejos, el Atlas Medio el cedro y Mequinez el mármol, trabajados por artesanos de todo el país.