Het pand aan de Swaluëstraat is gebouwd in 1897 als woonhuis in opdracht van mevrouw van Velzen van Duivenvoorden, die oorspronkelijk uit de buurt van Noordwijk kwam.
De eerste steen werd gelegd door haar 20-jarige dochter Clara van Velzen op 12 oktober 1897. Zij trouwde met Joseph Vosse van de Haarlemmerstraat 18 en bleef na haar huwelijk hier wonen tot 1925. In 1919 werd hun dochter Clara Vosse geboren, die later religieuze werd in de buurt van Helmond (zij heette zuster Angelien).
In 1925 werd het pand verkocht aan de gemeente Zandvoort, die er het Gemeentelijk Oude Mannen en Vrouwengasthuis van maakte. Talloze Zandvoortse ouderen hebben er van een rustige oude dag kunnen genieten.
In 1942 besloot het gemeentebestuur om de naam te wijzigen in Gemeentelijk Verzorgingstehuis. Dat is zo gebleven tot 1 november 1973, de datum waarop de toenmalige bewoners zijn verhuisd naar het Huis in het Kostverloren aan de Burgemeester Nawijnlaan en de Hulsmanhof aan de Nieuwstraat alhier.
Het gemeente bestuur besloot in beginsel om in het vrijgekomen pand een Zandvoortse oudheidkamer in te richten. Men verzocht daarom het bestuur van het Genootschap Oud Zandvoort nadere plannen daartoe uit te werken. Uiteindelijk heeft dat geresulteerd in de opening van het Cultureel Centrum in juni 1977. Er zijn exposities gehouden, koffieconcerten, toneel- en filmvoorstellingen, voordrachten, spreekbeurten etc.
Na enige jaren zijn de taken als Cultureel Centrum aanmerkelijk verminderd en werden er allerlei tentoonstellingen, van zeer uiteenlopende aard, georganiseerd. Ook werd de historie van Zandvoort getoond, o.a. in de vorm van stijlkamers, schilderijen, maquettes, foto’s e.d. Al vanaf 1985 zijn er hoofdzakelijk museale taken uitgevoerd. Na heel veel discussies, politieke besluiten etc. heeft het geheel gerenoveerde museum uiteindelijk haar deuren geopend in november onder de naam “Zandvoorts Museum”. Het behoud van het pand is een aanwinst voor de Zandvoortse Cultuur.
Vanaf 1 januari 2018 is het Zandvoorts Museum verzelfstandigd en losgekoppeld van de gemeente Zandvoort. Stichting Zandvoorts Museum exploiteert nu het Zandvoorts Museum en heeft volop plannen voor een mooie toekomst en vele activiteiten.