Het (hofje) Vrouwe- en Anthoniegasthuis is gelegen aan het Klein Heiligland 64. De geschiedenis van het Vrouwe- en Anthoniegasthuis gaat terug tot 1440. In dat jaar werd het Onze Lieve Vrouwe Gasthuis ('op Bakenes') in de Klerksteeg (nu Bakenesserstraat) gesticht, het stond onder beheer van de kapelmeesters van de Bakenesserkerk. Ook werd in dat jaar het Sint Anthoniegasthuis gesticht, welke beheerd werd door de deken en vinders van het Heilig Kruisgilde. In 1581 vervielen de beide gasthuizen aan de stad. De stedelijke regering stelde voortaan de regenten aan en had het oppertoezicht op het beheer. Het Sint Anthoniegasthuis ontwikkelde zich in de loop van de tijd tot een hofje, terwijl het Onze Lieve Vrouwe Gasthuis nog lange tijd alleen onderdak bood aan vrouwelijke pelgrims. In 1726 werden beide gasthuizen wegens financiële moeilijkheden samengevoegd. Het Sint Anthoniegasthuis werd opgeheven en de gebouwen werden verkocht. De goederen en de bewoonsters werden overgebracht naar het Onze Lieve Vrouwe Gasthuis, dat voortaan Vrouwe- en Anthoniegasthuis zou heten. Het hofje bood permanent onderdak aan negen vrouwen. De vrouwen hadden niet - zoals meestal op een hofje - de beschikking over een eigen woning, maar waren gehuisvest in een gemeenschappelijk vertrek. Aan deze onhoudbare situatie kwam een einde toen in 1787 een geschikt pand vrij kwam aan het Klein Heiligland. Het was het voormalige hofje van Pieter Teyler van der Hulst. Uit zijn nalatenschap werd in die tijd een veel groter hofje gebouwd aan de Koudenhorn. In juni 1787 werd het nieuwe Vrouwe- en Anthoniegasthuis geopend.