In april 1805 werd door de stedelijke regering een Commissie van Toezicht en Superintendentie opgericht. De commissie werd belast met het toezicht over de van stadswege gesubsidieerde Godshuizen: het Verenigd Diaconie- en Aalmoezeniersarmenhuis, het R.K. Wees- en Armhuis en het Lutherse Wees- en Oudeliedenhuis. In november 1805 werd door drie leden van de commissie samen met de fabrikanten L.J. van der Smissen en L. Wijnkamp een Armenfabriek opgericht met als doel 'het aan het werk brengen van arme lieden en door dezelve te voorkomen dat sommige alimentanten zich, onder den schijn van geen werk te kunnen krijgen, van elk geregeld werk excuseeren.' Elke tot één van de bovengenoemde godshuizen behorende alimentant en huiszittende arme was verplicht om, indien hij elders geen werk kon krijgen, in de fabriek te werken. Deed hij dit niet, dan verspeelde hij zijn bedeling. Het werk bestond uit het spinnen van wol, vlas en katoen, het breien van wollen en katoenen kousen, het weven van linnen, piqué of dimit, bombazijn, rokkestreep en boezelgoed. Ook werd er kant of zgn. speldewerk gemaakt. De werkplaats van de Armenfabriek was gevestigd in het Diaconie- en Aalmoezeniers Armenhuis. In de bloeiperiode van de Armenfabriek werkten er ca. 150-200 mensen. Tijdens de Franse overheersing kwam de fabriek in financiële moeilijkheden. Na de bevrijding kon de Armenfabriek zich min of meer uit haar verval oprichten. Er was echter steeds minder afzetgebied voor de producten. Op den duur was het met de opofferingsgezindheid van het koperspubliek gedaan en bleef de fabriek met grote voorraden zitten. In de notulen van 20 oktober 1824 werd voorgesteld om de fabriek op te heffen. Een exacte datum is niet bekend. De verkoop van producten en de daarbij horende financiële administratie is nog tot en met 1832 doorgegaan. In de hierna volgende jaren kwamen textielfabrikanten als Wilson en Prévinaire naar Haarlem om de textielindustrie nieuw leven in te blazen, maar dan op niet-liefdadige basis.