Mozes Joles, een rijke Haarlemse zakenman die in 1927 overleed, had in zijn testament bepaald dat zijn vermogen moest worden aangewend voor de oprichting en instandhouding van een joods ziekenhuis te Haarlem. Om dit te verwezenlijken werd de Stichting Het Nederlands Israëlitische Joles-ziekenhuis opgericht. Het bestuur hiervan werd volgens de wens van Joles gevormd door de leden van de kerkenraad. Om de exploitatie van het ziekenhuis te vergemakkelijken ging men een samenwerkingsverband aan met het Sint Elisabeths Gasthuis, reden om het Joles Ziekenhuis te plannen naast het gebouw van het EG. Dit was mogelijk doordat men toestemming verkreeg om grond aan te kopen naast het EG en de daarop staande huizen te slopen. Wegens bezwaren van gemeentewege tegen het eerste ingediende bouwplan kon pas in de zomer van 1930 met de bouw begonnen worden. Haast was toen geboden omdat Joles bepaald had dat het ziekenhuis binnen drie jaar na zijn overlijden gereed moest zijn. Het Joles Ziekenhuis had eigen verplegend personeel in dienst en verschafte koosjer voedsel aan de patiënten. De medische behandeling geschiedde door de artsen van het EG. In de oorlog werd het gebouw van het Joles Ziekenhuis bij het Sint Elisabeths Gasthuis gevoegd. Na de oorlog bleek de joodse gemeenschap in Haarlem te klein om een eigen ziekenhuis rendabel te maken. Mede vanwege onwil bij de regenten van het EG om tot de vroegere samenwerking terug te keren, werd in 1949 besloten om het gebouw aan de gemeente Haarlem te verkopen en de opbrengst mede te gebruiken voor de bouw van een bejaardenhuis in Israël. Dit bejaardentehuis kwam in 1956 gereed. Het kreeg de naam Beth Joles (huis van Joles) en was gelegen in Achuza bij Haifa. In 1967 nam de Stichting Nederlands Israëlitisch Joles Ziekenhuis het initiatief tot de oprichting van een bejaardentehuis in Haarlem. Hiervoor werd een herenhuis aan de Verspronckweg aangekocht en verbouwd. In 1970 kon dit Rabbijn de Vrieshuis geopend worden.