Durante las dinastías Ming y Qing ambos eran los favoritos de los letrados y estudiantes que aspiraban a aprobar los exámenes imperiales, y los fieles siguen acudiendo aquí a rezar por el éxito en los estudios y en los negocios, con papel de ofrenda, varillas de incienso, verduras y frutas redondas como las naranjas.
Ricos comerciantes chinos construyeron el conjunto entre 1847 y 1862 en tres bloques separados por dos estrechos callejones. El templo Man Mo es el edificio principal; Lit Shing Kung, a su lado, estaba dedicado a todas las divinidades del panteón chino, y Kung Sor servía de sala de reuniones donde la comunidad china del barrio trataba los asuntos locales y resolvía disputas. En 1908 una ordenanza específica puso el templo al cuidado del Tung Wah Hospital, y el Tung Wah Group of Hospitals sigue gestionándolo; cada año su junta se reúne aquí para los Ritos de Sacrificio de Otoño. El conjunto fue declarado monumento en 2010.
El templo en sí tiene dos salas de tres crujías, con dos plataformas de tambor de granito en la fachada y un par de puertas biombo en la sala delantera. Siguiendo la disposición tradicional china, la sala trasera, con los altares de los dioses, está unos escalones más alta que la delantera. Entre ambas hay un patio bajo un tejado a cuatro aguas con hastiales y doble alero, sostenido por cuatro columnas de granito. La decoración combina figurillas de cerámica, granito y madera tallados, yeso moldeado y murales pintados, y entre los objetos antiguos del interior hay una campana de bronce de la dinastía Qing, fundida en 1847, y una silla de manos fabricada en 1862. En Kung Sor se conserva el marco de puerta original de granito, con el año de construcción tallado.




