Wezen, vondelingen, zwervende kinderen, geestelijk of lichamelijk gehandicapten en bejaarden werden, voorzover zij niet in de bestaande tehuizen konden worden opgenomen, ook wel uitbesteed bij particulieren, die daarvoor een tegemoetkoming ontvingen. Aangezien deze uitbesteding niet als ideaal werd ervaren, besloot de Diaconie van de Nederlands-Hervormde Gemeente te Haarlem in 1677 om twee huizen in de Zuiderstraat te kopen om als Diaconiehuis in te richten. In 1678 werden voor het eerst in dit huis bestedelingen geplaatst. Onder de verpleegden in het Diaconiehuis werd onderscheid gemaakt tussen alimentanten en bestedelingen. Beide groepen moesten lidmaat zijn van de Nederlands-Hervormde Gemeente. Alimentanten werden geheel op kosten van het Diaconiehuis verzorgd, terwijl voor bestedelingen een bepaald bedrag verschuldigd was. De Diaconie werd in 1740 met een subsidie van het stadsbestuur geholpen om de financiële moeilijkheden enigszins te bestrijden. Sindsdien werd de Diaconie en daarmee ook het Diaconiehuis steeds afhankelijker van het stadsbestuur. In 1767 werd door het stadsbestuur, dat toch al een groeiend aandeel van de kosten van de Diaconie voor zijn rekening nam, besloten op stadskosten een nieuw Diaconiehuis te bouwen aan de Koudenhorn (toen Ossenmarkt). Het huis was in 1771 klaar. De armen die ten laste van de stad kwamen en om diverse redenen niet voor zichzelf konden zorgen, waren sinds de 17e eeuw geplaatst in het Aalmoezeniersarmen- en werkhuis. Aangezien het stadsbestuur het Diaconiehuis had gefinancierd wilde men ook de stadsarmen in het huis plaatsen. Zo kwam in 1786 het gefuseerde Verenigd Diaconie- en Aalmoezeniersarmenhuis tot stand. Deze combinatie zou blijven bestaan tot in 1856 het Nieuwe Diaconiehuis in de Jansstraat in gebruik werd genomen. In 1810 werd het pand aan de Koudenhorn gevorderd om als kazerne dienst te doen. Het Verenigd Diaconie- en Aalmoezeniersarmenhuis werd verplaatst naar het voormalige weeshuis aan de Kinderhuisvest.