Une tour-porte garde chaque extrémité : la tour du pont de la Vieille Ville sur la rive est et une paire de tours, dont la tour du pont de Malá Strana, sur la rive ouest. Le long des parapets se dressent 30 statues et groupes sculptés de saints, pour la plupart baroques. Depuis la grande réparation de 1965 à 1978, le pont est fermé à tous les véhicules et appartient aux piétons.

Charles IV fit commencer le pont en 1357 pour remplacer le pont Judith de 1158-1172, que des crues avaient gravement endommagé en 1342 ; il fut achevé au début du XVe siècle, sur le modèle du pont de pierre de Ratisbonne, avec des brise-glace protégeant ses arches. La légende veut que l’empereur, qui croyait à la numérologie, ait posé la première pierre tôt le matin du 9 juillet 1357 à une minute choisie de sorte que l’année, le jour, le mois, l’heure et la minute écrits à la suite se lisent de la même façon à l’envers. Jusqu’en 1841, il fut le seul passage sur la rivière, si bien qu’il servit de principale liaison entre le château et la Vieille Ville, de partie de la route du couronnement des rois de Bohême et de liaison terrestre qui plaçait Prague sur la route commerciale joignant l’est et l’ouest de l’Europe. Il fut connu sous le nom de pont de Pierre ou pont de Prague et ne porte le nom de Charles que depuis 1870.

Le pont a traversé crues et guerres. Après la bataille de la Montagne Blanche, les têtes coupées des chefs exécutés en 1621 furent exposées sur la tour du pont de la Vieille Ville en guise d’avertissement. En 1648, lors des derniers combats de la guerre de Trente Ans, les Suédois tenaient la rive ouest, et les combats les plus violents eurent lieu sur le pont lui-même, endommageant le côté fleuve de la tour de la Vieille Ville. En septembre 1890, des troncs et des radeaux emportés par le courant s’entassèrent contre lui jusqu’à arracher trois arches et faire s’effondrer deux piliers ; le pont rouvrit le 19 novembre 1892.

La plupart des statues furent érigées entre 1683 et 1714 par de grands sculpteurs de Bohême de l’époque, dont Matthias Braun et Jan Brokoff, dont les fils Ferdinand Maxmilian et Michael Joseph y travaillèrent aussi. Parmi les plus connues figurent saint Jean Népomucène, sainte Luthgard et le groupe du Saint Crucifix et du Calvaire, et une statue distincte du chevalier Bruncvík fut ajoutée environ 200 ans plus tard en dehors de la rangée principale. La crue de 1890 emporta deux statues de Brokoff dans la rivière ; à la place de l’une d’elles, Karel Dvořák sculpta plus tard un groupe de saint Cyrille et saint Méthode. Depuis 1965, chaque statue du pont a été remplacée par une copie, et les originaux sont exposés au Lapidarium du Musée national.

Des réparations entre 2008 et 2010 ont renforcé deux piliers du côté de Malá Strana et repavé la chaussée, mais ont remplacé de nombreuses pierres des murs d’une manière que des professionnels de la conservation ont critiquée, et en 2010 le Comité du patrimoine mondial de l’UNESCO a constaté que les travaux avaient été effectués sans conseil adéquat en matière de conservation.