In 1583 werd het Oude Mannen- en Vrouwengasthuis opgericht, volgens overlevering door Gerrit en Aeltgen Willems. Twaalf oudere mannen en vrouwen kregen er gratis inwoning, wat ondermeer mogelijk werd gemaakt door een legaat van Agneta van Aeckersloot, 'geestelijke dochter' te Haarlem. Het gesticht werd bestuurd door drie regenten, aangesteld door het ambachtsbestuur. Over het financieel beheer moest een rentmeester verantwoording afleggen aan het ambachts- of gemeentebestuur. Op het eind van de 17e eeuw waren de inkomsten van het gesticht te gering om de bewoners te kunnen onderhouden. Daarom werd een oude bepaling opnieuw ingevoerd, waarbij de bewoners werden verplicht de helft wat zij in of buiten huis verdienden aan de instelling af te staan. Ook in later tijd blijken de beschikbare gelden vaak niet toereikend te zijn geweest voor het onderhoud van de bewoners. Aan het begin van de 20e eeuw werd het doel van het Oude Mannen- en Vrouwengasthuis als volgt omschreven: 'verschaffing van inwoning en verpleging aan ouden van dagen van alle gezindten en beiderlei kunne, die minstens een kalenderjaar ingezetene van Zandvoort moeten zijn.' In 1928 werd het pand aan het Gasthuisplein wegens bouwvalligheid gesloopt en verhuisden de bewoners naar een, door de gemeente aangekocht, pand aan de Swaluëstraat 1. De naam Oude Mannen- en Vrouwengasthuis veranderde op 14 april 1942 in Gemeentelijk Verzorgingshuis. Deze naamsverandering was nodig in verband met het feit dat het karakter van het huis geleidelijk zou wijzigen. Het was de bedoeling om in de toekomst ook de verpleging van invaliden en andere hulpbehoevenden, die nauwelijks in hun eigen huishouding konden voorzien, ter hand te nemen. Met ingang van 1 november 1973 werd het Gemeentelijk Verzorgingshuis uiteindelijk opgeheven. De bewoners namen hun intrek in het bejaardenhuis Het Huis in het Kostverloren.