Forma parte de los Jardines Clásicos de Suzhou, que la UNESCO inscribió como Patrimonio de la Humanidad en 1997.

Su forma actual se remonta a 1513, cuando Wang Xianchen, enviado imperial y poeta de la dinastía Ming que había regresado a Suzhou tras una dura carrera como funcionario, empezó a construir sobre las ruinas del templo Dahong. Su amigo, el pintor de Suzhou Wen Zhengming, se interesó mucho por el proyecto y en 1533 pintó un álbum de 31 escenas del jardín acompañadas de poemas. El nombre procede de un pasaje del erudito Pan Yue, de la dinastía Jin, que elogiaba la vida de un funcionario retirado dedicado a plantar árboles y cultivar hortalizas; para Wang, señalaba su alejamiento de la política.

El jardín pasó por muchas manos después de que el hijo de Wang lo perdiera por deudas de juego. En 1631 la parte oriental se separó y recibió el nombre de Morada del Regreso al Campo, la parte central se compró y reconstruyó en 1738, y en 1860 el príncipe Taiping Li Xiucheng vivió aquí y lo remodeló, periodo al que se atribuye buena parte de lo que se ve hoy. Las tres partes volvieron a unirse en 1949, se abrieron al público y se restauraron en 1952. Se cree que Cao Xueqin, autor de Sueño en el pabellón rojo, vivió aquí en su adolescencia, y muchos estudiosos ven el jardín en los escenarios de su novela.

Los visitantes recorren tres secciones. El jardín oriental se abre en torno a una amplia pradera y un estanque rodeados de árboles de Júpiter, una alusión a la Secretaría de Estado de la dinastía Tang, apodada el Departamento del Árbol de Júpiter. El jardín central, el Zhuozheng Yuan, se organiza alrededor del Estanque de las Olas Crecientes, donde tres islas representan las islas de los inmortales del mar oriental. El jardín occidental, de la mitad de tamaño que el central, es también sobre todo agua, con un estanque que va de norte a sur alrededor de un pequeño islote; conserva su trazado de finales del siglo XIX.

En todo el jardín hay 48 edificios, 101 placas, 40 estelas, 21 árboles antiguos de especial valor y más de 700 penjing de estilo Suzhou. El conservador del jardín, Xue Zhijian, señala la piedra, las plantas, los edificios y el agua como los cuatro elementos que aquí se entrelazan. En un rincón, unas rocas parecen atravesar un muro, como si el visitante estuviera en la montaña y no en una ciudad, y la vegetación sigue las estaciones, con peonías, lotos, osmantos y flores de ciruelo.