Abd al-Rahman I, fundador del emirato omeya de al-Ándalus, mandó construir la mezquita en 785, y se terminó en aproximadamente un año, con la ayuda de columnas y capiteles tomados de edificios romanos y visigodos. Cuando Fernando III de Castilla conquistó la ciudad en 1236, el edificio se convirtió en una catedral dedicada a la Virgen María; el cabildo catedralicio lo cuida desde aquel año, y todavía se celebra misa a diario. Fue declarada Patrimonio Mundial por la UNESCO en 1984.

Los gobernantes posteriores siguieron ampliando la mezquita repitiendo sus arcos originales. Abd ar-Rahman II alargó la sala de oración ocho tramos entre 833 y 848; Abd ar-Rahman III reconstruyó el patio y levantó el primer alminar propiamente dicho, terminado en 958; su hijo al-Hakam II añadió otros doce tramos hacia el sur a partir de 961; y en 987–988 el visir Almanzor amplió todo el edificio hacia el este, añadiendo ocho naves. Las once naves originales de norte a sur pasaron así a ser diecinueve, y la sala se apoya hoy en aproximadamente 850 columnas de jaspe, ónice, mármol, granito y pórfido. Cada arco tiene un nivel inferior de herradura y otro superior de medio punto, con dovelas que alternan el ladrillo rojo y la piedra blanca.

La obra más rica está en la ampliación de al-Hakam II, en el extremo sur. Una cúpula nervada, hoy parte de la Capilla de Villaviciosa, marca el punto donde comienza, enmarcada por pantallas de arcos polilobulados entrecruzados. Más adelante se encuentra la maqsura, el espacio reservado al califa durante la oración, bajo otras tres cúpulas nervadas, y el propio mihrab: una pequeña sala de siete lados tras un arco de herradura, cubierta por una cúpula en forma de concha. Su arco y su alfiz rectangular están cubiertos de mosaicos de oro y vidrio, realizados con la ayuda de un maestro artesano que el emperador bizantino envió al califa, y las inscripciones cúficas que contienen citan el Corán y celebran la ampliación de al-Hakam. Es el mihrab más antiguo que se conoce construido como una verdadera sala y no como un simple nicho.

En 1523 el obispo Alonso de Manrique empezó a insertar una iglesia renacentista en forma de cruz, la Capilla Mayor, en el centro de la sala de oración; el cabildo municipal se opuso al proyecto, pero Carlos V permitió que siguiera adelante. Hernan Ruiz I y su hijo llevaron la tracería gótica a sus bóvedas, Juan de Ochoa la terminó en estilo manierista, y la cúpula elíptica sobre el crucero se levantó entre 1599 y 1607. La sillería del coro, de caoba, tallada por Pedro Duque Cornejo entre 1748 y 1757, mira hacia un altar mayor cuyas pinturas son de Antonio Palomino. El antiguo alminar, que llegó a tener 47 metros de altura, queda hoy envuelto dentro de un campanario renacentista de 54 metros, terminado en 1617 y rematado por una estatua de San Rafael.

Al norte de la sala de oración se encuentra el antiguo patio de la mezquita, el Patio de los Naranjos, donde naranjos, cipreses y palmeras crecen en hileras; su galería perimetral la reconstruyó Hernán Ruiz I entre 1510 y 1516. Al pie del campanario está la Puerta del Perdón, frente a la Puerta de las Palmas, la puerta ceremonial de la antigua sala de oración. En el lado oeste, la Puerta de San Esteban, antes la Bab al-Wuzara por la que entraban el emir y sus funcionarios, se decoró bajo Muhammad I en 855. Es la puerta más antigua conservada que combina un arco de herradura, dovelas de colores alternos y un alfiz rectangular, un modelo que repitieron después otras portadas andalusíes.