Los Caballeros Hospitalarios de San Juan construyeron la mayor parte entre su llegada en 1309 y la conquista otomana de 1522, y por eso sus calles están flanqueadas por arquitectura gótica, a la que más tarde se sumaron las mezquitas, los baños y las mansiones de los siglos otomanos. La UNESCO la inscribió como Patrimonio de la Humanidad en 1988.

La ciudad tiene dos partes: la ciudad alta, al norte, construida enteramente por los caballeros, y la ciudad baja, al sur-suroeste. Su monumento emblemático es el Palacio del Gran Maestre, también llamado el Kastello, un raro edificio gótico en suelo griego. Ciudadela bizantina de finales del siglo VII, se convirtió en el cuartel general de los caballeros y en la residencia de su gran maestre; bajo los otomanos sirvió de centro de mando hasta 1856, cuando un rayo alcanzó un polvorín situado bajo la cercana iglesia de San Juan y la explosión derribó la mayor parte de las plantas superiores del palacio.

El palacio que ven hoy los visitantes es en gran parte una reconstrucción italiana. Durante el dominio italiano, el arquitecto Vittorio Mesturino rediseñó el palacio y la cercana calle de los Caballeros, y el palacio se reconstruyó entre 1937 y 1940 con escasa información sobre su estado anterior a la época otomana; los estudiosos han criticado el resultado por su falta de rigor histórico. Sirvió de residencia de vacaciones al rey Víctor Manuel III y más tarde a Mussolini, cuyo nombre se conserva en una placa cerca de la entrada. Después de que Rodas pasara a Grecia en 1948, el palacio se convirtió en museo.

Las murallas muestran cómo cambió la fortificación con la llegada del cañón. Los caballeros reforzaron las murallas bizantinas a partir de 1309, tomando como modelo las murallas teodosianas de Constantinopla, y tras el asedio otomano de 1480 y un terremoto recurrieron a ingenieros militares italianos para reconstruirlas frente a la artillería. Cada tramo estaba custodiado por una de las «lenguas» nacionales de los caballeros, y nombres como el Bastión de Italia y el terraplén de España todavía las recuerdan. Los otomanos no demolieron las murallas después de 1522, sino que las mantuvieron en buen estado, de modo que el recinto se conserva tal como estaba al final del dominio de los caballeros.

Once puertas dan acceso a la ciudad vieja. La Puerta d'Amboise, justo debajo del palacio, tiene un triple cinturón defensivo, dos torres redondas y restos de sus antiguas puertas de madera claveteadas. La Puerta Marina era la entrada principal desde el puerto. La Puerta de San Juan se conoce como Porta Kokkini, la «puerta roja», por la tradición de que tantos hombres cayeron ante ella en 1522 que las piedras se tiñeron de rojo. Dentro, entre las calles y plazas figuran la calle Sócrates, la plaza Sócrates, la plaza Judía, la torre del reloj y la mezquita de Solimán.