De Heilige Geestmeesters bestonden al in de middeleeuwen en hadden oorspronkelijk de zorg voor alle armen; zij bedeelden de armen door uitdelingen te houden in geld en natura, voornamelijk brooduitdelingen, gezeten in de Heilige Geeststoel, welke thans nog in de Sint Bavo- of Grote Kerk aanwezig is. Sinds de schenking van Coen Cuser van Oisterwijk van zijn huis in de Kruisstraat op de hoek van de Krocht (1394), beschikten zij echter over een gebouw, het Heilige Geesthuis, waarin zij de armen ook onderdak konden verlenen. Oorspronkelijk waren dit alleen de oude lieden, aangezien de kinderen uitbesteed werden, maar later, na de oprichting van het Oudemannenhuis (1609) en nadat de oude vrouwen in 1626 waren overgebracht naar het aan de stad vervallen Sint Jansgasthuis, bevatte het Heilige Geesthuis alleen weeskinderen en werd daarom ook wel Weeshuis genoemd. Daar het echter slechts kinderen onder een bepaalde leeftijd opnam, richtte het stadsbestuur in 1653 daarnaast een Arme Kinderhuis op, bestemd zowel voor oudere wezen als ook voor arme, door hun ouders verlaten, kinderen en vondelingen, die anders in het Werkhuis terecht zouden komen. Deze stichting werd gevestigd in het voormalige Maria Magdalenaklooster, dat in de 16e eeuw een tijdlang Pesthuis was geweest, en gaf zijn naam aan de aangrenzende Kinderhuisvest. In 1765, bij de combinatie met het Heilige Geesthuis, werden de kinderen uit dit gesticht, die veel minder in aantal waren, hierheen overgebracht. De administratie van de gecombineerde gestichten werd in hoofdzaak voortgezet in de registers van het Arme Kinderhuis, maar er zijn ook tal van nieuwe registers geopend tot beheer van het Burgerweeshuis, zoals de combinatie van het Heilige Geesthuis en het Arme Kinderhuis vanaf 1765 heette.