Las cuevas se encuentran en el cabo Espartel, a 14 kilómetros al oeste de Tánger, y tienen dos aberturas, una al mar y otra a tierra. La tradición atribuye a los fenicios la apertura del lado del mar, así como una serie de marcas en forma de ojo en la pared que, según se dice, forman un mapa de los alrededores.

Solo una parte del conjunto es natural. Los bereberes extraían de las paredes piedras redondas para hacer muelas de molino, y los cortes circulares que dejaron agrandaron mucho la cueva. Mucho antes, hacia el 6000 a. C., vivieron aquí gentes del Neolítico.

Las cuevas deben su nombre a los mitos griegos y romanos. Se decía que Heracles descansó y durmió en la cueva antes de su 11.º trabajo, ir a buscar las manzanas de oro del jardín de las Hespérides, que algunos autores de la antigua Grecia situaban cerca, en Lixus. Una versión romana cuenta que, en lugar de escalar el monte Atlas, lo atravesó a golpes, uniendo el Atlántico con el Mediterráneo y creando el estrecho de Gibraltar. La leyenda local añade que la cueva no tenía fondo y era uno de los extremos de un túnel que pasaba bajo el estrecho hasta la cueva de San Miguel, en Gibraltar, el camino por el que los macacos de Berbería llegaron al Peñón.

Las cuevas se abrieron al público en 1920, fueron declaradas Patrimonio Nacional en 1952 y recibieron iluminación eléctrica en 1982. Las cenizas del artista y escritor Brion Gysin se esparcieron aquí en 1986. Una renovación encargada por el rey Mohammed VI se terminó en octubre de 2015, cuando las cuevas volvieron a abrir.