Fatih William onu 1066'nın sonunda, Hastings'teki zaferinin ardından, eski Roma kent surlarının güneydoğu köşesine sıkıştırarak kurdu. Bütün kaleye adını veren çekirdeği Beyaz Kule 1078'den itibaren inşa edildi. Kule 1988'de UNESCO Dünya Mirası Listesi'ne alındı; bakımını bağımsız bir hayır kurumu olan Historic Royal Palaces üstleniyor.

Kale yüzyıllar boyunca kraliyet sarayı, silah ve hazine deposu, Kraliyet Darphanesi, egzotik hayvanların evi, arşiv ve her şeyden önce hapishane oldu; İngilizceye “sent to the Tower” (Kule'ye gönderildi) deyimini kazandıran da bu. Kasvetli ünü büyük ölçüde 16. yüzyıl propagandacılarına ve 19. yüzyıl romancılarına dayanıyor: 20. yüzyılın dünya savaşlarına kadar surların içinde yalnızca yedi kişi idam edildi; idamların çoğu kuzeydeki Tower Hill'de gerçekleşti. II. Charles'ın saltanatına kadar hükümdarlar, taç giymek üzere alayla Westminster Abbey'ye gitmeden önce geleneksel olarak birkaç gece burada kalırdı.

Yerleşim üç avludan, yani surla çevrili alandan oluşuyor ve I. Edward'ın 1285'te tamamladığı yeniden inşadan bu yana biçimini koruyor. Merkezde, büyük ölçüde Kent kayrak taşından yapılmış, yaklaşık 27 metre yüksekliğindeki Norman burcu Beyaz Kule duruyor; özgün girişi yerden yükseltilmişti ve saldırı anında kaldırılabilen ahşap bir merdivenle ulaşılıyordu. İçerideki St John Şapeli Norman döneminin çıplak, sade görünümünü koruyor. Çevresinde iç avlunun perde duvarına 13 kule yerleştirilmiş; bunlar arasında 16. ve 17. yüzyıl mahkûmlarının duvarlara yazılar kazıdığı Beauchamp Kulesi ve 16. yüzyılda Kule'deki Prenslerin orada öldürüldüğü inancıyla adlandırılan Kanlı Kule (Bloody Tower) var. Nehir tarafındaki St Thomas Kulesi, daha sonra Hainler Kapısı (Traitors' Gate) olarak bilinen su kapısına dönüştü.

Taç Mücevherleri 1669'dan beri halka açık olarak sergileniyor ve 1994'ten beri eski bir kışla olan Waterloo Block'ta yer alıyor. Sergide 23.578 değerli taş, taç giyme anında kullanılan St Edward Tacı, İmparatorluk Devlet Tacı ve Cromwell'in Cumhuriyet yönetimi kraliyet nişanlarını eritip parçalattıktan sonra günümüze ulaşabilen az sayıdaki parçadan biri olan 800 yıllık Taç Giyme Kaşığı bulunuyor. Mücevherlerin ilk kez sergilenmesinden iki yıl sonra Albay Thomas Blood bekçiyi bağlayıp tacı, asayı ve küreyi ele geçirdi, ancak bekçinin oğlu beklenmedik bir anda gelince yakalandı. Ziyaretçiler 2006'dan beri başka bir bölümde Orta Çağ kraliyet sarayının restore edilmiş odalarını da gezebiliyor.

Kalenin geleneksel muhafızları olan Yeomen Warder'lar tören görevlerinin yanı sıra rehberli turlara da öncülük ediyor ve King's Guard (Kral Muhafızları) askerleriyle birlikte her gün Anahtarlar Töreni'ni gerçekleştiriyor. İçlerinden biri, Ravenmaster (Kuzgun Ustası), kuzgunlara bakıyor; kuzgunlar giderse krallığın çökeceği inancına uygun olarak Kule'de en az altı kuzgun tutuluyor. Kral John döneminden 1835'e kadar kale aynı zamanda aslanlar, leoparlar, bir kutup ayısı ve bir filden oluşan bir kraliyet hayvanat koleksiyonuna ev sahipliği yaptı; bu hayvanlar daha sonra Regent's Park'taki Londra Hayvanat Bahçesi'ne taşındı.