Het klooster van de Premonstratenzers, dat ook wel Sint Anthoniesboomgaard werd genoemd wegens zijn uitgestrekte tuin, waarvan nu nog restanten over zijn in de tuinen van het Frans Loenenhofje en de Luthers Hofje, en gelegen was tussen de Witte Herensteeg en de stadsvest, heeft een bewogen geschiedenis gehad. Omstreeks het midden van de 15e eeuw werd het klooster door de broeders van de derde orde van Sint Franciscus gesticht. In 1477 veranderd in een klooster van regulieren kanunniken en in 1484 opgenomen in de orde van de premonstratenzers of norbertijnen (witheren). Het klooster kreeg daardoor de naam van Witte Herenklooster. Het klooster had weinig bewoners en was arm. Daarom sloten de kloosterlingen in 1541 een overeenkomst met de stad, waarbij het Sint Elisabeths Gasthuis de eigendom van de goederen zou verkrijgen. Twee jaar later had de overdracht plaats. De nieuwe abt van Mariënweerd weigerde echter in 1557 de door zijn voorganger goedgekeurde overeenkomst te erkennen. Dit was aanleiding tot een heftig geschil, dat in 1563 ten gevolge had, dat het Sint Elisabeths Gasthuis de gebouwen en een deel van de goederen moest teruggeven en er een proosdij in werd gevestigd. De proost Jan Lap van Waveren zette evenwel de strijd tegen het stadsbestuur voort en wist in 1569 een vrij grote geldsom te verwerven. Ook daarna hielden de geschillen aan. Men kan dan ook begrijpen, dat de stad met een zucht van verlichting de proosdij seculariseerde. Nu raakte men evenwel in een strijd verwikkeld met de Staten van Gelderland, die de pretenties van de abt van Mariënweerd hadden overgenomen. Pas in 1596 werd de strijd afgesloten.