Kaiser Karl VI. gelobte sie 1713, ein Jahr nach der letzten großen Pestepidemie Wiens, und weihte sie seinem Namenspatron, dem heiligen Karl Borromäus, der als Helfer der Pestkranken verehrt wird. Johann Bernhard Fischer von Erlach gewann den Entwurfswettbewerb, 1716 begann der Bau, und nach seinem Tod 1723 vollendete sein Sohn Joseph Emanuel die Kirche 1737, wobei er den Tambour der Kuppel verkürzte und das Attikageschoss hinzufügte.

Die Fassade mischt bewusst verschiedene Vorbilder. Der mittlere Portikus erinnert an einen griechischen Tempel, die beiden Säulen von Lorenzo Mattielli wurden der Trajanssäule in Rom nachgebildet, und die Turmpavillons zu beiden Seiten zeigen den Einfluss von Bernini und Borromini. Die spiralförmigen Reliefs erzählen das Leben des Karl Borromäus; zugleich sollten die Säulen an Boas und Jachim erinnern, die Säulen vor dem Tempel in Jerusalem, sowie an die Säulen des Herakles als Sinnbilder kaiserlicher Macht. Über dem Portal spielt das Giebelrelief mit den Kardinaltugenden, auf dessen Spitze der Schutzheilige steht, auf das Gelübde an, das der Stiftung zugrunde liegt, und Engel aus dem Alten und Neuen Testament flankieren den Eingang.

Im Inneren zeigt das Kuppelfresko von Johann Michael Rottmayr und Gaetano Fanti Karl Borromäus, der mit Unterstützung der Jungfrau Maria Fürbitte einlegt, umgeben von den Kardinaltugenden. Über dem Hochaltar, entworfen von Fischer dem Älteren und ausgeführt von Ferdinand Maxmilian Brokoff, steigt der Heilige zu einem runden, warm gelben Fenster mit dem hebräischen Gottesnamen auf. In den Seitenkapellen hängen Altarbilder verschiedener Maler, darunter Sebastiano Ricci, Jakob van Schuppen, Martino Altomonte und Daniel Gran. Die geschnitzte Kanzel aus Nussholz, wahrscheinlich vom jüngeren Fischer entworfen, erhielt 2006 und 2007 ihre ursprüngliche Form zurück, als ein um 1860 hinzugefügter schwerer Rand von ihrem Schalldeckel entfernt wurde.

Antonio Vivaldi wurde 1741 auf dem Spitaler Gottesacker begraben, dem Friedhof, der neben der Kirche lag; das Grab ist verloren, und zu seinen Ehren finden in der Kirche Konzerte mit seiner Musik statt. Ein Orden betreut die Karlskirche, die auch Pfarrkirche der Technischen Universität Wien ist; ihre Adresse lautet Karlsplatz 10.