Sus sillares de granito están colocados sin argamasa. Durante muchos siglos llevó el agua de manantiales de la sierra a las fuentes, los baños públicos y las casas de la ciudad, y siguió haciéndolo hasta 1973. El acueducto figura en el escudo de Segovia, y en 1985 fue declarado Patrimonio Mundial por la UNESCO junto con el casco antiguo.
No se ha conservado ninguna inscripción legible, pero el estudio de los agujeros de anclaje que dejaron las letras de bronce desaparecidas de su dedicatoria, junto con hallazgos arqueológicos posteriores, sitúa su construcción bajo los emperadores romanos, a finales del siglo I o comienzos del siglo II d. C. Sus constructores siguieron los principios expuestos por Vitruvio en De Architectura. El agua se tomaba del Rio Frio, en la zona de La Acebeda, a 17 km de la ciudad, y recorría 15 km antes de llegar a Segovia.
Por el camino, el agua se recogía en un depósito llamado El Caserón, seguía hasta una segunda torre, la Casa de Aguas, donde se dejaba decantar la arena, y después recorría 728 metros con una suave pendiente del uno por ciento hasta el Postigo, el afloramiento rocoso sobre el que se asientan el casco antiguo amurallado y su Alcázar. A partir de allí tomaba el relevo el puente de arcos. En la Plaza de Díaz Sanz la estructura gira bruscamente hacia la Plaza del Azoguejo, donde muestra toda su altura. Dentro de las murallas el agua circulaba bajo tierra, y el trazado del canal principal está señalado en el pavimento de la ciudad.
Los arcos se disponen en dos niveles, con los pilares superiores más cortos y delgados que los inferiores, y el agua corría por un canal en forma de U a lo largo de la parte superior. Treinta y seis arcos del primer tramo, destruidos por los musulmanes en 1072, se reconstruyeron en el siglo XV bajo los Reyes Católicos en una obra dirigida por don Pedro Mesa, que encabezaba el cercano monasterio de los Jerónimos del Parral y cuidó de no alterar el estilo original. Dos hornacinas miran a lados opuestos del acueducto: una albergaba a Hércules, el legendario fundador de la ciudad, y hoy alberga una imagen de la Virgen, mientras que la estatua de San Esteban de la otra se ha perdido. El 4 de diciembre, fiesta de Santa Bárbara, los cadetes de la academia militar de Segovia envuelven con una bandera una imagen de la Virgen de la Fuencisla.
Un centro de interpretación sobre el acueducto ocupa uno de los edificios de la Real Casa de Moneda, la antigua ceca de Segovia. El vínculo entre ambos viene de lejos: las monedas acuñadas en Segovia llevaban el acueducto como marca de ceca.




