Aanvankelijk werden de wezen bij particulieren uitbesteed. In 1680 gaven de Staten van Holland toestemming voor de stichting van een weeshuis. In hetzelfde jaar kochten de diakenen de voormalige herberg De Prins, gelegen aan de Zijlweg te Overveen, en richtten dit gebouw in als wees- en armenhuis. Het gebouw was dus eigendom van de Diaconie; de exploitatie echter geschiedde door een college van regenten dat bestond uit diakenen namens de kerk en schaalvaders (later armmeesters) namens de plaatselijke overheid. Hoewel in de stukken meestal sprake is van 'kinderhuys' werden er ook bejaarden in ondergebracht. Aanvankelijk stond het huis open voor alle armen, maar in 1713 kregen de katholieke inwoners van Bloemendaal toestemming om hun eigen armenzorg op te zetten. In 1743 werd het huis, dat toen zeer bouwvallig geworden was, verkocht en het naastgelegen pand aangekocht om als nieuw armenhuis te dienen. Dit pand werd uiteindelijk in 1815 verkocht nadat de wezen elders waren ondergebracht. De geschiedenis van het wees- en armenhuis wordt gekenmerkt door gebrek aan geld. Bovendien vormde het beheer ervan vanaf 1779 tot de opheffing in 1812 een voortdurende bron van problemen. In 1796 trok de overheid in de vorm van het ambachtsbestuur haar handen geheel van het noodlijdende kinderhuis af. Ook de diakenen verdwenen uit het regentencollege. Het beheer kwam in handen van door de kerkenraad benoemde armmeesters. Na de opheffing van het kinderhuis in 1812 bleven de armmeesters in functie. In 1827 waren hun taken: het bedelen van behoeftige protestanten die geen hervormde lidmaat waren. Ook waren zij verantwoordelijk voor de administratie van het fonds ten behoeve van niet-hervormde protestante armen, voor welke adminstratie zij verantwoording schuldig waren aan het gemeentebestuur. Na de invoering van de Armenwet in 1854 waren de armmeesters voor hun administratie alleen nog verantwoording schuldig aan de kerkenraad.