Die Johanniter erbauten den größten Teil davon zwischen ihrer Ankunft 1309 und der osmanischen Eroberung 1522; deshalb säumt gotische Architektur ihre Straßen, später vermischt mit den Moscheen, Bädern und Herrenhäusern der osmanischen Jahrhunderte. Die UNESCO nahm sie 1988 in die Liste des Welterbes auf.

Die Stadt besteht aus zwei Teilen: der ganz von den Rittern erbauten Oberstadt im Norden und der Unterstadt im Süd-Südwesten. Ihr Wahrzeichen ist der Großmeisterpalast, auch Kastello genannt, ein auf griechischem Boden seltener gotischer Bau. Ursprünglich eine byzantinische Zitadelle aus dem späten 7. Jahrhundert, wurde er zum Hauptquartier der Ritter und zur Residenz ihres Großmeisters; unter den Osmanen diente er als Kommandozentrale, bis 1856 ein Blitz in ein Pulverlager unter der nahen Johanneskirche einschlug und die Explosion die meisten Obergeschosse des Palastes zum Einsturz brachte.

Der Palast, den Besucher heute sehen, ist größtenteils eine italienische Rekonstruktion. Während der italienischen Herrschaft gestaltete der Architekt Vittorio Mesturino den Palast und die nahe Ritterstraße neu, und der Palast wurde zwischen 1937 und 1940 wiederaufgebaut, wobei es kaum Anhaltspunkte aus der Zeit vor der osmanischen Ära gab; Fachleute haben das Ergebnis wegen mangelnder historischer Genauigkeit kritisiert. Er diente König Viktor Emanuel III. und später Mussolini als Feriensitz, dessen Name auf einer Tafel nahe dem Eingang erhalten ist. Nachdem Rhodos 1948 an Griechenland gefallen war, wurde der Palast ein Museum.

Die Mauern zeigen, wie sich der Festungsbau mit dem Aufkommen der Kanonen veränderte. Die Ritter verstärkten ab 1309 die byzantinischen Mauern nach dem Vorbild der Theodosianischen Mauern von Konstantinopel, und nach der osmanischen Belagerung von 1480 und einem Erdbeben holten sie italienische Militäringenieure, um sie gegen Artillerie neu zu errichten. Jeder Abschnitt wurde von einer der nationalen „Zungen“ der Ritter bewacht, und Bezeichnungen wie die Bastion Italiens und das Terreplein Spaniens tragen noch deren Namen. Die Osmanen rissen die Mauern nach 1522 nicht ab, sondern hielten sie instand, sodass der Mauerring weitgehend so dasteht wie am Ende der Ritterherrschaft.

Elf Tore führen in die Altstadt. Das d'Amboise-Tor gleich unterhalb des Palastes hat einen dreifachen Verteidigungsgürtel, zwei Rundtürme und Reste seiner alten, mit Nägeln beschlagenen Holztüren. Das Marinetor war der Haupteingang vom Hafen. Das Johannestor ist als Porta Kokkini, „rote Tür“, bekannt, nach der Überlieferung, dass 1522 so viele Männer davor fielen, dass sich die Steine rot färbten. Zu den Straßen und Plätzen im Inneren gehören die Sokratesstraße, der Sokratesplatz, der Jüdische Platz, der Uhrturm und die Süleyman-Moschee.