Errichtet wurde sie erstmals 652, als die Stadt als Chang'an Hauptstadt der Tang-Dynastie war, vom Mönch und Übersetzer Xuanzang, der einen sicheren Ort für die Hunderte von Sanskrit-Schriften und buddhistischen Bildnissen suchte, die er aus Indien mitgebracht hatte. Sie gehört zum UNESCO-Welterbe der Seidenstraßen entlang des Chang'an-Tianshan-Korridors, zusammen mit dem Xingjiao-Tempel und der Kleinen Wildganspagode der Stadt.

Der Turm, den Besucher heute sehen, ist nicht Xuanzangs Original. Jene erste Pagode hatte fünf Ziegelgeschosse über einem Erdkern und war 60 Meter hoch, doch zwischen ihren Ziegeln wurzelte Unkraut und beschädigte sie, und Kaiserin Wu Zetian und ihre Adligen bezahlten dafür, dass sie abgerissen und mit sieben Geschossen neu errichtet wurde. Später wurde sie auf zehn Geschosse erhöht, im Krieg beschädigt und wieder mit sieben aufgebaut, und Baumeister der Ming-Zeit umhüllten den Tang-Bau mit einer neuen, sechzig Zentimeter dicken Ziegelschale. Heute erreicht sie samt Sockel 64,1 Meter.

Ihre Ziegelflächen ahmen den Holzbau nach, mit Pfeilern, Balustraden, Bögen und Dougong-Konsolen auf jedem Geschoss, und die Stockwerke werden nach oben hin schmaler. Besucher steigen im Inneren 248 Stufen zu Räumen auf jeder Ebene hinauf, die sich nach allen vier Seiten durch Ziegelbögen öffnen; die Räume sind mit Fresken von Xuanzangs Reise in den Westen auf der Suche nach den Schriften bemalt. Im Erdgeschoss sind in die Blausteinstürze über den vier Türen Buddhafiguren eingeritzt; der westliche zeigt den predigenden Amitabha-Buddha.

Neben der Südtür stehen zwei Steintafeln in Ziegelnischen. Die eine trägt das Vorwort, das Kaiser Taizong 648 zu Xuanzangs Übersetzungen schrieb, die andere den Kommentar von Kaiser Gaozong zu diesem Vorwort, beide vom Kalligrafen Chu Suiliang geschrieben und unter gemeißelten Drachen noch gut lesbar. In der Tang-Zeit schrieben Kandidaten, die die kaiserlichen Prüfungen bestanden hatten, ihre Namen am Tempel nieder, und „Inschrift an der Wildganspagode“ wurde zum Inbegriff des Prüfungserfolgs.

Ab 1945 ließ starkes Abpumpen von Grundwasser die Pagode schneller kippen, und 1996 hatte ihre Neigung einen Meter überschritten. Daraufhin wurden über 400 Brunnen in der Umgebung verschlossen, und ab 1997 begann sich der Turm langsam wieder aufzurichten. Sein Umriss bildet das Hauptelement des Stadtwappens von Xi'an, und heute umrahmen ihn zwei große Plätze: der Südplatz vor dem Tempel mit einer Statue von Xuanzang und Gärten und der Nordplatz mit einem zentralen Wasserspiel und dem Tang-Kultur-Themenplatz.