In 1440 werd het Sint Anthoniegasthuis gesticht na een schenking door Jan Claes Diertsz., die een kapel en gasthuis, gelegen buiten de Schalkwijkerpoort, in eigendom overdroeg aan het Heilig Kruisgilde. In het gasthuis beoefenden de broeders en zusters de liefdadigheid, door aan armen en reizigers tijdelijk verblijf en verpleging te verschaffen. Onder het bestuur van deken en vinders van het Heilig Kruisgilde bleef dit gesticht tot 1581 voortbestaan, toen het met de bezittingen van het Heilig Kruisgilde aan de stand Haarlem overging. Het Sint Anthoniegasthuis ontwikkelde zich in de loop van de tijd tot een hofje. In 1726 werd het gasthuis - wegens financiële moeilijkheden - met het Onze Lieve Vrouwe Gasthuis samengevoegd. Het Sint Anthoniegasthuis werd opgeheven en de gebouwen werden verkocht. De goederen en de bewoonsters werden overgebracht naar het Onze Lieve Vrouwe Gasthuis, dat voortaan Vrouwe- en Anthoniegasthuis zou heten. Het hofje bood permanent onderdak aan negen vrouwen. De vrouwen hadden niet - zoals meestal op een hofje - de beschikking over een eigen woning, maar waren gehuisvest in een gemeenschappelijk vertrek. Aan deze onhoudbare situatie kwam een einde toen in 1787 een geschikt pand vrij kwam aan het Klein Heiligland. Het was het voormalige hofje van Pieter Teyler van der Hulst. Uit zijn nalatenschap werd in die tijd een veel groter hofje gebouwd aan de Koudenhorn. In juni 1787 werd het nieuwe Vrouwe- en Anthoniegasthuis geopend.
