Пещеры находятся на мысе Спартель в 14 км к западу от Танжера и имеют два входа: один к морю, другой к суше. Предание приписывает финикийцам прорубание морского проёма и набор отметин в форме глаз на стене, которые, как говорят, образуют карту окрестностей.

Лишь часть комплекса природная. Берберы выбирали из стен круглые камни для жерновов, и оставленные ими круглые вырезы сильно расширили пещеру. Задолго до этого, около 6000 года до н. э., здесь жили люди неолита.

Пещеры получили своё имя из греческого и римского мифа. Геракл, как говорили, отдыхал и спал в пещере перед своим 11-м подвигом — добычей золотых яблок из сада Гесперид, который некоторые древнегреческие авторы помещали неподалёку, в Lixus. По римскому варианту он не поднимался на гору Атлас, а пробил её, соединив Атлантику со Средиземным морем и создав Гибралтарский пролив. Местная легенда добавляет, что у пещеры не было дна и что она была одним концом туннеля под проливом к пещере Святого Михаила в Гибралтаре, по которому берберийские макаки добрались до Скалы.

Пещеры открыли для публики в 1920 году, в 1952 году объявили объектом национального наследия, а в 1982 году провели в них электрическое освещение. Прах художника и писателя Brion Gysin был развеян здесь в 1986 году. Реновация по заказу короля Мухаммеда VI была завершена в октябре 2015 года, когда пещеры вновь открылись.