Het gebouw van het Verenigd Diaconie- en Aalmoezeniersarmenhuis aan de Kinderhuisvest bleek in 1855 oud en ongeschikt en er kon niet genoeg aandacht worden besteed aan de mensen van de eigen gemeente. Bovendien was er inmiddels in 1854 een nieuwe armenwet ingevoerd, die voorkeur gaf aan particuliere armenzorg. Mede door het synodaal reglement van 1853, krachtens welk reglement de Diaconie in het vervolg alleen de eigen armen zou bedelen, moest er wel een einde komen aan de combinatie met de stadsarmen in het Verenigd Diaconie- en Aalmoezeniersarmenhuis. De Diaconie zag in het vervolg af van overheidssubsidie. Er werd een huis in de Jansstraat gekocht, laatst bewoond door de heer J.G. Scholten, die er een kostschool in gehouden had. Het huis werd in 1856 officieel in gebruik genomen. De in het oude huis overgebleven stadsarmen werden overgebracht naar het Buiten Gasthuis aan de Schotersingel. In de tweede helft van de 19e eeuw werd besloten om het Diaconiehuis uit te breiden door volbouwing van het open terrein naast het bestaande huis in de Jansstraat. Op 28 mei 1891 werd het Nieuwe Diaconiehuis officieel geopend. Om aan de hoge kosten tegemoet te komen van de verbouwing en reorganisatie van de ziekenafdeling in 1924 moesten er meer bestedelingen opgenomen worden, die betaalden immers voor hun verblijf in het huis. De ziekenafdeling werd Rusthuis genoemd, dat chiquer klonk dan Diaconiehuis. In 1934 werd na een verbouwing de naam gewijzigd in Adriana Koenen Rusthuis. Mede naar aanleiding van felle discussies, die in de jaren 50 van de 20e eeuw in landelijke bladen oplaaiden over misstanden in sommige bejaardenhuizen, besloot de Diaconie om een nieuw verpleeghuis te bouwen. Hiermee was de nadruk op de gezondheidszorg gelegd, terwijl voordien de maatschappelijke zorg voorop stond. De bouw van een geheel nieuw en modern verpleeghuis begon en in 1966 werd het Diaconaal Verpleeghuis Janskliniek in de Ridderstraat 32 officieel geopend.