Graf Floris V. ließ hier Ende des 13. Jahrhunderts die erste steinerne Burg bauen, um von Kaufleuten Zoll zu erheben, denn die Vecht war der Handelsweg nach Utrecht. Das Gebäude ist klein, 32 mal 35 Meter, doch seine Mauern sind mehr als 1,5 Meter dick.

Ihre frühe Geschichte ist gewaltsam. 1296 nahm eine Gruppe von Adligen, darunter Gerard van Velsen und Gijsbrecht IV. van Amstel, Floris V. gefangen und hielt ihn in der Burg fest; als er zu fliehen versuchte, tötete ihn Gerard van Velsen am 27. Juni 1296. Der Erzbischof von Utrecht eroberte die Burg 1297 und ließ sie bis 1300 abreißen. Zwischen etwa 1370 und 1386 baute Albrecht I., Herzog von Bayern und Graf von Holland und Seeland, sie an derselben Stelle und nach demselben Grundriss wieder auf.

Der bekannteste Bewohner der Burg war der Dichter und Historiker Hooft (1581-1647), der als Drost von Het Gooiland diente. Er verbrachte 39 Sommer auf dem Muiderslot und füllte es mit Gästen: den Dichtern Vondel und Bredero, Huygens, Maria Tesselschade Visscher und anderen, ein Kreis, an den man sich als Muiderkring erinnert. Hooft vergrößerte außerdem den Garten und den Pflaumengarten, während rund um die Burg Erdwälle angelegt wurden.

Nachdem die Burg Ende des 18. Jahrhunderts als Gefängnis gedient hatte, ließ man sie verfallen, und 1825 wurde sie zum Abbruch verkauft; König Wilhelm I. griff ein und rettete sie, und jahrzehntelange Spendensammlungen finanzierten später ihre Restaurierung. Heute ist der Muiderslot ein Nationalmuseum. Räume und Küchen haben ihr Aussehen aus dem 17. Jahrhundert zurückerhalten, mehrere Räume zeigen Waffen und Rüstungen, und Besucher sehen einen Himmelsglobus, der einst zur Navigation nach den Sternen diente. Die Türme blickten einst auf das Meer, und in den Gärten wachsen vergessene Gemüse und Kräuter.