An jedem Ende wacht ein Torturm: der Altstädter Brückenturm am Ostufer und ein Turmpaar, darunter der Kleinseitner Brückenturm, am Westufer. Entlang der Brüstungen stehen 30 Statuen und Figurengruppen von Heiligen, die meisten barock. Seit der großen Sanierung von 1965 bis 1978 ist die Brücke für alle Fahrzeuge gesperrt und gehört den Fußgängern.

Karl IV. ließ die Brücke 1357 als Ersatz für die Judithbrücke von 1158–1172 beginnen, die ein Hochwasser 1342 schwer beschädigt hatte; vollendet wurde sie im frühen 15. Jahrhundert, nach dem Vorbild der Steinernen Brücke in Regensburg, mit Eisbrechern zum Schutz ihrer Bögen. Der Legende nach legte der Kaiser, ein Anhänger der Zahlenmystik, den Grundstein früh am Morgen des 9. Juli 1357 zu einer Minute, die so gewählt war, dass Jahr, Tag, Monat, Stunde und Minute hintereinander geschrieben rückwärts gelesen dasselbe ergeben. Bis 1841 war sie der einzige Weg über den Fluss und damit die wichtigste Verbindung zwischen Burg und Altstadt, Teil des Krönungswegs der böhmischen Könige und eine Landverbindung, die Prag an den Handelsweg zwischen Ost- und Westeuropa anschloss. Sie hieß Steinerne Brücke oder Prager Brücke und trägt den Namen Karls erst seit 1870.

Die Brücke hat Hochwasser und Kriege überstanden. Nach der Schlacht am Weißen Berg wurden die abgeschlagenen Köpfe der 1621 hingerichteten Anführer als Warnung am Altstädter Brückenturm zur Schau gestellt. 1648, in den letzten Kämpfen des Dreißigjährigen Krieges, hielten die Schweden das Westufer, und die heftigsten Gefechte fanden auf der Brücke selbst statt, wobei die Flussseite des Altstädter Turms beschädigt wurde. Im September 1890 türmten sich flussabwärts treibende Baumstämme und Flöße an ihr auf, bis drei Bögen weggerissen wurden und zwei Pfeiler einstürzten; am 19. November 1892 wurde die Brücke wiedereröffnet.

Die meisten Statuen wurden zwischen 1683 und 1714 von führenden böhmischen Bildhauern der Zeit aufgestellt, darunter Matthias Braun und Jan Brokoff, dessen Söhne Ferdinand Maxmilian und Michael Joseph ebenfalls daran arbeiteten. Zu den bekanntesten gehören Johannes von Nepomuk, die heilige Luitgard und die Gruppe des Heiligen Kreuzes mit Kalvarienberg; eine eigene Statue des Ritters Bruncvík kam etwa 200 Jahre später außerhalb der Hauptreihe hinzu. Das Hochwasser von 1890 riss zwei Brokoff-Statuen in den Fluss; anstelle einer davon schuf Karel Dvořák später eine Gruppe der Heiligen Kyrill und Method. Ab 1965 wurde jede Statue auf der Brücke durch eine Kopie ersetzt, und die Originale sind im Lapidarium des Nationalmuseums ausgestellt.

Bei Reparaturen zwischen 2008 und 2010 wurden zwei Pfeiler auf der Kleinseitner Seite verstärkt und der Fußweg neu gepflastert, doch dabei wurden viele Steine in den Mauern auf eine Weise ersetzt, die Fachleute der Denkmalpflege kritisierten, und 2010 stellte das UNESCO-Welterbekomitee fest, dass die Arbeiten ohne angemessene denkmalpflegerische Beratung ausgeführt worden waren.