In Haarlem moet de Kruisgemeente vanaf circa 1847 hebben bestaan. Het eerste archiefstuk stamt echter uit 1854. De Gereformeerde Gemeente onder 't Kruis behoorde tot een groep van kerken, die zich in 1838 naar aanleiding van een verschil van mening over onder andere de doop, van de kerken van de Afscheiding afsplitste. In 1869 verenigden, zowel landelijk als in Haarlem, de Gereformeerde Gemeente onder 't Kruis en de Christelijk Afgescheiden Gemeente zich tot de Christelijk Gereformeerde Kerk, afdeling Gedempte Oude Gracht en de afdeling Klein Heiligland. Bestuurlijk bleef alles bij het oude, de beide kerken bleven afzonderlijk bestaan. In 1892 besloten de Christelijk Gereformeerde Kerk en de Nederduits Gereformeerde Kerk - omdat men zich in geloof en belijdenis één wist - te verenigen. Hieruit kwamen de Gereformeerde Kerken in Nederland voort. Hierna stonden de Christelijk Gereformeerde Kerk, afdeling Gedempte Oude Gracht en de afdeling Klein Heiligland in Haarlem voortaan beter bekend als resp. Gereformeerde Kerk A en Gereformeerde Kerk B, de Nederduits Gereformeerde Kerk als Gereformeerde Kerk C van Haarlem. Hoewel al aangesloten bij hetzelfde kerkgenootschap, besloten de kerken pas op 29 december 1916 - na verschillende pogingen in de periode 1897-1912 - tot een bestuurlijke 'samensmelting' tot één kerk: de Gereformeerde Kerk van Haarlem.