Dit mannenklooster dankt zijn ontstaan aan een schenking van Gherijt de Visscher en zijn moeder Gheertruyt Mathijsdochter. Dezen droegen op 20 oktober 1427 voor schepenen, aan enige regulieren uit het fraterhuis te Hulsbergen bij Hattem afkomstig, zes morgen land over "mit allen den husinghe, boemte, boemgaert en riet lant mit sine anwas" tot stichting van een regulierenklooster onder het kapittel van Windesheim. Na de vereiste toestemming van Jacoba van Beieren (1 april 1429) volgde op 20 april 1429 de confirmatie van Zweder van Kuilenburg, bisschop van Utrecht. Nog hetzelfde jaar schonk de pastoor van de parochie, Joannes van Eyck, hun de gewone privileges, waaronder het begrafenisrecht tegen betaling van de helft van de offerpenningen. Onder degenen, die zich voor de inrichting van het klooster hebben verdienstelijk gemaakt, worden genoemd Jan Busch en Hendrik Mande, beiden uit Windesheim afkomstig, en heer Barthout van Assendelft van Assumburg. In het midden van de 15e eeuw heeft men het gebouwencomplex onder prior Bero van Amsterdam voltooid. De gebouwen met de kapel strekten zich uit over een rechthoekig gevormd terrein op het noordeinde van de Breestraat. In 1492 is het klooster door Duitse huurtroepen van Albrecht van Saksen geplunderd. Tijdens de Reformatie (Hervorming) moesten de kloosterlingen, als ballingen, de stad verlaten. Hun gebouwen werden door brand verwoest, waarbij ook het gehele archief in vlammen is opgegaan.