Le cardinal esquissa lui-même le bâtiment, et Flaminio Ponzio donna forme à ses idées sous la forme d’une villa suburbana, une maison de campagne en lisière de la ville ; Giovanni Vasanzio est lui aussi cité parmi les auteurs du projet. Les jardins qui l’entourent, autrefois partie du même domaine, sont aujourd’hui considérés comme une attraction à part.

Lorsque la villa fut construite, le terrain se trouvait hors des murs de Rome, que l’on atteignait le plus facilement par la Porta del Popolo, et le domaine avait une circonférence de près de 5 km. Vers 1775, le prince Marcantonio IV Borghese chargea l’architecte Antonio Asprucci de redécorer l’intérieur et de réorganiser les sculptures par thèmes ; à la fin du siècle, la villa fonctionnait comme un musée public. La famille perdit une partie de son trésor en 1808, quand le prince Camillo Borghese, beau-frère de Napoléon, fut contraint de céder les marbres antiques, que Napoléon acquit ; le Gladiateur Borghèse et l’Hermaphrodite Borghèse partirent pour le Louvre. En 1902, l’État italien acheta la villa avec l’ensemble du domaine et de son parc.

La collection est répartie en vingt salles sur deux niveaux. Plusieurs sculptures du Bernin se trouvent dans les salles mêmes pour lesquelles elles ont été réalisées, ce qui donne à la galerie une grande partie de son œuvre profane : la chèvre Amalthée avec le petit Jupiter et un faune, de 1615, Énée, Anchise et Ascagne, l’Enlèvement de Proserpine de 1621-1622, Apollon et Daphné de 1622-1625 et le David de 1623. La galerie possède les deux bustes de Scipion Borghèse réalisés par le Bernin ; il fit le second après l’apparition d’une grande fissure dans le marbre du premier. Dans la salle I, la Pauline Borghèse en Vénus victorieuse d’Antonio Canova donne son nom à la pièce.

Le salon principal, le Salone, est couronné par une fresque de plafond de Mariano Rossi représentant Marcus Furius Camillus levant le siège des Gaulois sur le Capitole, peinte avec un tel raccourci qu’elle semble presque en trois dimensions. Le hall d’entrée expose une mosaïque des Gladiateurs de 320-330 apr. J.-C., découverte en 1834 sur le domaine Borghese de Torrenova, à côté d’une statue romaine d’Auguste. Dans la salle de l’Hermaphrodite, une figure endormie repose sur un matelas de marbre que le Bernin sculpta lorsqu’il restaura l’œuvre.

Scipion soutint le Bernin dès le début de sa carrière et collectionnait avec passion le Caravage ; le Jeune Garçon à la corbeille de fruits, le Bacchus malade et saint Jérôme écrivant de ce peintre s’y trouvent donc tous. Le Titien est représenté par l’Amour sacré et l’Amour profane, et Raphaël par la Mise au tombeau du Christ et la Dame à la licorne. D’autres salles abritent des tondi de Botticelli et de Fra Bartolomeo, la Cène de Bassano, la Danaé du Corrège et Suzanne et les vieillards de Rubens. Parmi les autres musées voisins figurent la Galleria Nazionale d’Arte Moderna, consacrée à l’art italien du XIXe siècle et du XXe siècle, et le Museo Nazionale Etrusco.