Het Karmelietenklooster werd ook wel klooster Beata Maria Virgo de Monte Carmelo of Vrouwenbroedersklooster genoemd. In het jaar 1249 schonk ridder Symon van Haerlem zijn huis en erf met andere bezittingen aan de Karmelietenorde. Weldra verrees op het gehele terrein tussen Spekstraat, Anegang, Warmoesstraat en Grote Houtstraat een groot gebouw, waarvan de kerk, omgeven door een kerkhof en versierd met een fraaie toren, aan de kant van de Anegang stond. Zij had niet minder dan zes altaren. Het koor prijkte met een glasraam, afkomstig van hertog Albrecht. Ook andere hooggeplaatste personen deden grote schenkingen. Vooral de familie Brederode onderscheidde zich hierbij. Daar vele aanzienlijken in en bij het klooster begraven wensten te worden, verkreeg de abt op 3 september 1459 van Dirck van Wassenaar als pastoor van de parochiekerk het recht tegen betaling van een zeker bedrag lijken ter aarde te bestellen zonder hen eerst in de Grote Kerk te moeten brengen. In 1475 bevestigde de cureit Johan van Rozenbosch deze voorrechten. Gewoonlijk werden de kloosterlingen 'stripende brueders' (geschoeide karmelieten) of Onze Lieve Vrouwebroeders genoemd. Na de Hervorming in 1581 werd het Karmelietenklooster opgeheven en de bezittingen aan de stad Haarlem toegewezen. Daarna zijn de gebouwen gedeeltelijk afgebroken, gedeeltelijk tot woonhuizen verbouwd. Slechts een poort, de Guldenbergspoort, tegenover de Paarlaarsteeg in de Grote Houtsraat, is het enige, wat van dit kloostercomplex is overgebleven.