Yerleşkenin 16 tarihî binası 1841 ile 1925 arasında yapıldı ve nadir bir kalıntıdır: şehrin sömürge mimarisinin büyük kısmı, Hong Kong 1997'de Çin'e iade edilmeden önce yapılaşma için yıkılmıştı. Adı, yerleşkenin eski halk arasındaki adıdır.

Alandaki ilk bina, 1841'de hapishane bloklarıyla birlikte yapılan Sulh Yargıcı Evi'ydi. 1862'de mahkûm sayısı 650'ye yükselmişti ve hükümet çevredeki araziyi geliştirdi; böylece sonraki yüzyıl boyunca yerleşke art arda eklemeler ve yeniden yapımlarla büyüdü. 1899'da Merkez Hapishanesi Victoria Hapishanesi adını aldı ve 2006'ya kadar kullanımda kaldı.

2008'de Hong Kong Jockey Club, alanı korumak ve ona yeni bir işlev kazandırmak için hükümetin ortağı oldu; çalışmalar 2011'de başladı ve sekiz yıl sürdü, 2016'da bir duvar ve çatının çökmesiyle kesintiye uğradı. 16 miras binası restore edildi ve tasarımı eski tuğla işçiliğinden esinlenen iki yeni bina eklendi. Yerleşke 29 Mayıs 2018'de “100 Faces of Tai Kwun” sergisiyle halka açıldı; kalan bölümler üç aşamada izledi. 2019'da proje, UNESCO'nun Asya-Pasifik kültürel miras koruma ödüllerinden bir mükemmellik ödülü kazandı.

Restore edilen yerleşke mirası ve çağdaş mimariyi yan yana koyar; eski polis merkezinin uzun koridorları, tuğladan esinlenen tasarımlarıyla iki yeni binanın yanında durur.