Robert Pim Butchart, ein Portlandzementhersteller aus Ontario, kam mit seiner Frau Jennie des Kalksteins wegen in den Westen, und 1904 bauten sie ihr Haus neben dem Steinbruch. Als der Stein 1909 zur Neige ging, begann Jennie Butchart, die Grube in einen Garten zu verwandeln; das Ergebnis, der Sunken Garden, war 1921 fertig. Das Paar nannte sein Haus „Benvenuto“, italienisch für „Willkommen“, und öffnete die Gärten für Besucher, und 2004 wurde die Anlage zur National Historic Site of Canada erklärt.

Der Sunken Garden ist das Herzstück eines Besuchs: Grün und bunte Blumen füllen den einstigen Grund des Steinbruchs. Um ihn herum wuchs das Anwesen Garten für Garten. Ein italienischer Garten ersetzte 1926 die Tennisplätze der Familie, und 1929 wurde der Gemüsegarten zu einem großen Rosengarten nach Entwürfen von Butler Sturtevant aus Seattle, der 2.500 Pflanzen in 280 Sorten umfasst. Jennie Butchart gab außerdem einen japanischen Garten bei Isaburo Kishida in Auftrag, einem Gestalter aus Yokohama, der zwischen 1907 und 1912 in Victoria arbeitete. Die Gärten geben die Zahl ihrer Sorten an Beetpflanzen mit 900 an.

Robert Butcharts eigene Leidenschaft galt den Vögeln; er hielt Enten auf dem Star Pond und Pfauen auf dem Rasen und baute kunstvolle Vogelhäuser für das Gelände. In den Gärten verteilt stehen Bronzestatuen, darunter „Tacca“, ein Wildschwein, das in Florenz nach einem Original von Pietro Tacca aus dem Jahr 1620 gegossen wurde und dessen Schnauze von Besuchern, die sie für Glück reiben, blank poliert ist, sowie ein Brunnen mit drei Stören nahe dem japanischen Garten. Der Ross Fountain, der seine Wasserbilder wechselt, wurde 1964 im unteren Becken aufgestellt, und zwei 30 Fuß hohe Totempfähle wurden 2004 zum hundertjährigen Jubiläum errichtet.

1953 wurden die Gärten zum ersten Mal nachts beleuchtet, und in der Weihnachtszeit werden Lichter und Dekorationen durch sie gespannt. Seit 1977 gibt es an Sommerabenden Feuerwerke zu Musicalmelodien, und im Juli und August spielen lokale Musiker von Jazz bis Klassik. Der 2009 eröffnete Children's Pavilion beherbergt das Rose Carousel, dessen dreißig handgeschnitzte Tiere aus Lindenholz von Bären und Pferden bis zu Straußen und Zebras reichen. Im Sommer fährt ein kleines Elektroboot, die Jennie B, mit Fahrgästen die nahe Küste entlang.