El conde Florencio V mandó construir aquí el primer castillo de piedra a finales del siglo XIII para cobrar peajes a los mercaderes, porque el Vecht era la ruta comercial hacia Utrecht. El edificio es pequeño, de 32 por 35 metros, pero sus muros tienen más de 1,5 metros de grosor.
Sus primeros tiempos fueron violentos. En 1296 un grupo de nobles, entre ellos Gerard van Velsen y Gijsbrecht IV de Amstel, apresó a Florencio V y lo retuvo prisionero en el castillo; cuando intentó escapar, Gerard van Velsen lo mató el 27 de junio de 1296. El arzobispo de Utrecht tomó el castillo en 1297 y lo hizo derribar antes de 1300. Entre 1370 y 1386 aproximadamente, Alberto I, duque de Baviera y conde de Holanda y Zelanda, lo reconstruyó en el mismo lugar y con la misma planta.
El residente más conocido del castillo fue el poeta e historiador Hooft (1581-1647), que fue bailío de Het Gooiland. Pasó 39 veranos en el Muiderslot y lo llenó de invitados: los poetas Vondel y Bredero, Huygens, Maria Tesselschade Visscher y otros, un círculo que se recuerda como el Muiderkring. Hooft amplió también el jardín y el huerto de ciruelos mientras se levantaban defensas de tierra alrededor del castillo.
Tras servir de prisión a finales del siglo XVIII, el castillo quedó abandonado y en 1825 se puso a la venta para ser demolido; el rey Guillermo I intervino para salvarlo, y décadas de recaudación de fondos pagaron después su restauración. Hoy el Muiderslot es un museo nacional. Sus salas y cocinas han recuperado su aspecto del siglo XVII, varias salas exhiben armas y armaduras, y los visitantes pueden ver un globo celeste que se usaba para navegar guiándose por las estrellas. Las torres daban antiguamente al mar, y en los jardines se cultivan hortalizas y hierbas olvidadas.




