Het Klooster van de Augustijner Heremieten werd in 1490 gesticht in de Dijkstraat (nu Hagestraat) tegenover het Sint Jacobs Godshuis, dat beheerd werd door deken en vinders van het Sint Jacobsgilde. In 1494 sloten de heremieten een overeenkomst met genoemd gilde, waarbij werd bepaald, dat zij de Sint Jacobskapel met twee huizen, drie schuren of kamers en de daarbij behorende erven zouden krijgen om een nieuw klooster in te richten, benevens nog de tot de kerk behorende sieraden, terwijl zij zich verbonden tot het houden van lijkdiensten en het lezen van missen op het Sint Jacobsaltaar. Aldus vergroot bleef het klooster bestaan tot de opheffing in 1581.