Los 16 edificios históricos del complejo se levantaron entre 1841 y 1925, y es un superviviente poco común: la mayor parte de la arquitectura colonial de la ciudad se había derribado para nuevos desarrollos antes de que Hong Kong fuera devuelto a China en 1997. Su nombre es el antiguo nombre coloquial del complejo.

El primer edificio del lugar fue la Magistrate's House, levantada con sus pabellones de celdas en 1841. Hacia 1862 la población reclusa había llegado a 650, y el gobierno urbanizó los terrenos circundantes, de modo que durante el siglo siguiente el complejo creció mediante sucesivas ampliaciones y reconstrucciones. En 1899 la Central Prison tomó el nombre de Victoria Prison, y siguió en uso hasta 2006.

En 2008 el Hong Kong Jockey Club se convirtió en socio del gobierno para conservar el lugar y darle un nuevo uso; las obras comenzaron en 2011 y duraron ocho años, con una interrupción en 2016 cuando se derrumbaron un muro y un tejado. Se restauraron los 16 edificios patrimoniales y se añadieron dos edificios nuevos con diseños inspirados en el antiguo ladrillo. El complejo abrió al público el 29 de mayo de 2018 con la exposición «100 Faces of Tai Kwun», y las partes restantes le siguieron en tres fases. En 2019 el proyecto obtuvo un premio a la excelencia en los premios de conservación del patrimonio de Asia-Pacífico de la UNESCO.

El complejo restaurado pone el patrimonio y la arquitectura contemporánea uno junto a otro, de modo que los largos pasillos de la antigua jefatura de policía conviven con los dos edificios nuevos y su diseño inspirado en el ladrillo.