Le comte Floris V y a fait construire le premier château de pierre à la fin du XIIIe siècle pour percevoir des péages sur les marchands, car la Vecht était la route commerciale vers Utrecht. Le bâtiment est petit, 32 mètres sur 35, mais ses murs font plus de 1,5 mètre d’épaisseur.
Son histoire ancienne est violente. En 1296, un groupe de nobles comprenant Gerard van Velsen et Gijsbrecht IV d’Amstel a saisi Floris V et l’a retenu prisonnier dans le château ; lorsqu’il a tenté de s’échapper, Gerard van Velsen l’a tué le 27 juin 1296. L’archevêque d’Utrecht a pris le château en 1297 et l’a fait démolir avant 1300. Entre 1370 et 1386 environ, Albert Ier, duc de Bavière et comte de Hollande et de Zélande, l’a reconstruit au même endroit et selon le même plan.
Le résident le plus célèbre du château était le poète et historien Hooft (1581-1647), qui a exercé la charge de bailli du Gooiland. Il a passé 39 étés au Muiderslot et l’a rempli d’invités : les poètes Vondel et Bredero, Huygens, Maria Tesselschade Visscher et d’autres, un cercle resté dans les mémoires sous le nom de Muiderkring. Hooft a aussi agrandi le jardin et le verger de pruniers pendant que des ouvrages de défense en terre étaient aménagés autour du château.
Après avoir servi de prison à la fin du XVIIIe siècle, le château a été laissé à l’abandon et, en 1825, mis en vente pour être démoli ; le roi Guillaume Ier est intervenu pour le sauver, et des décennies de collectes ont ensuite financé sa restauration. Aujourd’hui, le Muiderslot est un musée national. Ses salles et ses cuisines ont retrouvé leur aspect du XVIIe siècle, plusieurs salles présentent des armes et armures, et les visiteurs peuvent voir un globe céleste autrefois utilisé pour naviguer aux étoiles. Les tours donnaient autrefois sur la mer, et les jardins sont plantés de légumes et d’herbes oubliés.




