Убежище находится во флигеле дома на канале XVII века по адресу Prinsengracht 263; эту часть позднее стали называть Secret Annex, а по-нидерландски — Achterhuis. Музей занимает три соседних здания под номерами с 263 по 267 и открылся 3 мая 1960 года.

Дом № 263 и соседний, № 265, построил в 1635 году Dirk van Delft, а фасад, обращённый к каналу, относится к перестройке 1740 года. После двух столетий в качестве жилья здание стало складом, где передняя часть с широкими дверями служила конюшней для лошадей. 1 декабря 1940 года Отто Франк, отец Анны, перевёл сюда с канала Singel конторы компаний, в которых работал, Opekta и Pectacon. На первом этаже мололи специи и упаковывали товары, а выше в конторах работали его сотрудники, среди них Miep Gies, Bep Voskuijl, Johannes Kleiman и Victor Kugler.

Флигель в глубине не был виден с улицы, так как дома смыкались вокруг двора. Отто Франк, его жена Эдит, дочери Марго и Анна и ещё четверо людей прожили там два года и один месяц в комнатах с жилой площадью всего около 42 квадратных метров; Анна всё же писала, что там уютно по сравнению с другими убежищами, о которых они слышали. В убежище нагрянули с облавой, всех арестовали и отправили в лагеря; выжил только Отто Франк. Прежде чем комнаты опустошили, Miep Gies и Bep Voskuijl вопреки приказу полиции вернулись туда и спасли бумаги, из которых позже получился дневник. Отто Франк опубликовал его на нидерландском в 1947 году под названием Het Achterhuis, которое выбрала сама Анна; в английском переводе убежище называлось Secret Annex.

Вскоре после выхода книги сотрудники компании начали показывать посетителям убежище. В 1955 году швейная фирма, купившая ряд домов, планировала его снести, но кампания, начатая газетой Het Vrije Volk, и протесты перед зданием остановили снос. Фонд Анны Франк под руководством Отто Франка был основан 3 мая 1957 года; в октябре фирма передала ему здание, а фонд купил и дом № 265 до того, как остальную часть квартала снесли.

Посетители проходят через сохранившийся флигель в задней части дома № 263, а в остальных зданиях размещены постоянная выставка о жизни Анны Франк и её времени и пространство, посвящённое преследованиям и дискриминации во всех их формах. В новом здании на углу Prinsengracht и Westermarkt, построенном в рамках перестройки, начатой в 1999 году, находятся вход, касса и кафе. Среди экспонатов — премия «Оскар», которую Shelley Winters получила за роль Petronella van Daan в фильме 1959 года «Дневник Анны Франк» и позднее передала музею. Виртуальная экскурсия, сначала выпущенная на CD-ROM, а затем в 3D, позволяет заранее увидеть комнаты, в том числе части флигеля, закрытые для посетителей.