L’empereur Charles VI en a fait le vœu en 1713, un an après la dernière grande épidémie de peste de Vienne, et l’a dédiée à son saint patron Charles Borromée, vénéré comme guérisseur des pestiférés. Johann Bernhard Fischer von Erlach a remporté le concours, la construction a commencé en 1716, et après sa mort en 1723, son fils Joseph Emanuel a terminé l’église en 1737, raccourcissant le tambour du dôme et ajoutant l’étage en attique.

La façade mélange délibérément ses sources. Le portique central rappelle un temple grec, les deux colonnes de Lorenzo Mattielli ont été inspirées de la colonne Trajane à Rome, et les pavillons-tours de chaque côté montrent l’influence du Bernin et de Borromini. Les reliefs en spirale racontent la vie de Charles Borromée ; les colonnes devaient aussi rappeler Boaz et Jachin, les piliers qui se dressaient devant le Temple de Jérusalem, et les colonnes d’Hercule comme emblèmes du pouvoir impérial. Au-dessus de la porte, le relief du fronton des vertus cardinales, avec le saint patron à son sommet, fait allusion au vœu à l’origine de la fondation, et des anges de l’Ancien et du Nouveau Testament flanquent l’entrée.

À l’intérieur, la fresque du dôme de Johann Michael Rottmayr et Gaetano Fanti montre Charles Borromée intercédant avec le soutien de la Vierge Marie, entouré des vertus cardinales. Au-dessus du maître-autel, conçu par Fischer père et exécuté par Ferdinand Maxmilian Brokoff, le saint s’élève vers une fenêtre ronde d’un jaune chaud portant le nom hébreu de Dieu. Les chapelles latérales abritent des retables de plusieurs peintres, dont Sebastiano Ricci, Jakob van Schuppen, Martino Altomonte et Daniel Gran. La chaire en noyer sculpté, probablement dessinée par Fischer fils, a retrouvé ses lignes d’origine en 2006 et 2007, lorsqu’un lourd rebord ajouté vers 1860 a été retiré de son baldaquin.

Antonio Vivaldi a été enterré en 1741 dans le cimetière Spitaler Gottesacker, qui se trouvait à côté de l’église ; la tombe est perdue, et des concerts de sa musique sont donnés dans l’église en son honneur. Un ordre religieux s’occupe de la Karlskirche, qui sert aussi d’église paroissiale de l’Université technique de Vienne, et son adresse est Karlsplatz 10.