La levantó por primera vez en 652, cuando la ciudad era Chang'an, capital de la dinastía Tang, el monje y traductor Xuanzang, que quería un lugar seguro para los cientos de escrituras en sánscrito e imágenes budistas que había traído de la India. Forma parte de la inscripción de la UNESCO de las Rutas de la Seda en el corredor Chang'an-Tianshan, junto con el templo Xingjiao y la Pequeña Pagoda de la Oca Salvaje de la ciudad.

La torre que ven los visitantes no es la original de Xuanzang. Aquella primera pagoda tenía cinco pisos de ladrillo sobre un núcleo de tierra y medía 60 metros, pero las malas hierbas arraigaron entre sus ladrillos y la dañaron, y la emperatriz Wu Zetian y sus nobles pagaron su derribo y su reconstrucción con siete pisos. Más tarde se elevó a diez, sufrió daños en una guerra y se reconstruyó de nuevo con siete, y los constructores Ming envolvieron la estructura Tang en una nueva capa de ladrillo de sesenta centímetros de grosor. Hoy alcanza 64,1 metros con su base.

Sus superficies de ladrillo imitan la construcción en madera, con pilares, balaustradas, arcos y ménsulas dougong en cada piso, y los pisos se estrechan a medida que suben. Los visitantes suben 248 escalones por el interior hasta salas en cada nivel que se abren por arcos de ladrillo en los cuatro lados, decoradas con frescos del viaje de Xuanzang hacia el oeste en busca de las escrituras. En la planta baja, los dinteles de piedra azul de las cuatro puertas llevan incisas figuras de Buda; el del oeste muestra al Buda Amitabha predicando.

Junto a la puerta sur hay dos estelas de piedra en hornacinas de ladrillo. Una contiene el prefacio que el emperador Taizong escribió en 648 para las traducciones de Xuanzang, y la otra, el comentario del emperador Gaozong a ese prefacio; ambos textos los caligrafió Chu Suiliang y aún se leen con claridad bajo dragones tallados. En época Tang, los candidatos que aprobaban los exámenes imperiales escribían su nombre en el templo, y la «inscripción en la Pagoda de la Oca Salvaje» llegó a significar el éxito en los exámenes.

A partir de 1945, la intensa extracción de aguas subterráneas aceleró la inclinación de la pagoda, que en 1996 superaba ya un metro. Entonces se sellaron más de 400 pozos a su alrededor y, desde 1997, la torre empezó a enderezarse lentamente. Su silueta es el elemento principal del emblema de la ciudad de Xi'an, y hoy la enmarcan dos grandes plazas: la Plaza Sur, delante del templo, con una estatua de Xuanzang y jardines, y la Plaza Norte, con una fuente central y la Plaza Temática de la Cultura Tang.