Het vrouwenklooster Sint Agnes, waarvan het stichtingsjaar onbekend is, was een convent van tertiarissen van Sint Franciscus. Het had zich aangesloten bij het Utrechtse kapittel en bestond reeds in 1438. In dat jaar kochten de zusters van jonkvrouw Diewair uter Wyc een stuk land, grenzend ten noorden aan de 'borchwal'. Aan het klooster was een kapel verbonden, toegewijd aan de Heilige Agnes, waarvan de stichting voor het grootste gedeelte te danken is aan een schenking van heer Gherijt Haikoz, die de erfenis van zijn moeder voor de bouw van dit kerkje bestemde. De gebouwen stonden in het zuidoostelijk gedeelte van het dorp naast de parochiekerk. Toen de zusters in 1544 zich beklaagd hadden, dat zij dagelijks hinder ondervonden van de bewoners van Texel en dat zelfs haar pater bij een nachtelijke overval door een bende rovers was vermoord, nam de Raad des Keizers in Holland, Zeeland en Friesland het convent en al zijn bewoonsters in bijzondere bescherming. Toch schijnt deze protectie niet het gewenste resultaat te hebben opgeleverd. In 1569 was het met het kloosterleven op het eiland zo droevig gesteld, dat er nog negen zusters waren, geen pater hadden om de Heilige Diensten te verrichten en de geestelijke oefeningen te leiden en dat in de laatste 15 jaar zich geen enkele postulante had aangemeld. In 1570 verlieten zij met toestemming van de commissaris-generaal, pater Angelus van Aversa, het eiland en verenigden zich met de zusters van Sint Barbara te Leiden. Daar dit zonder machtiging van de bisschop van Haarlem was gebeurd, beval Nicolaas van Nieuwland de zusters naar het convent op Texel terug te keren. Aan deze opdracht konden zij echter geen gevolg geven, want in 1571 kwamen onder aanvoering van Brederode, de watergeuzen op het eiland, plunderden en roofden alles, wat hun in handen viel en verwoestten de kapel. In 1573 kregen burgemeesters toestemming om het klooster en de daartoe behorende goederen in bezit te nemen en tot weeshuis in te richten.