Al vanaf 1875 vestigden zich boeren en arbeiders in de drooggelegde Houtrakpolder. De arbeiders, gekomen om te werken aan de inpoldering van de Houtrak, waren afkomstig uit alle windstreken, en velen vestigden zich na de inpoldering blijvend in de polder. Ze vonden vaak werk als landarbeider bij de boeren. Ruigoord, van oorsprong een eiland in het IJ en hoger gelegen dan de rest van de polder, leek een ideale plaats om als centrum voor de arbeiders en de boeren in de polder te dienen. Al in 1876 werd een in Weesp gekochte houten kerkloods neergezet op het oude eiland. Nagenoeg de hele bevolking van de polder en het eiland was rooms-katholiek en de kerk werd in de loop van de jaren het middelpunt van het leven in de polder. Patroonheilige werd de Heilige Gertrudis. Dit was de tweede patroonheilige van de Parochie Sint Jacobus de Meerdere te Haarlemmerliede, waar Ruigoord oorspronkelijk onder viel. In 1892 werd er een nieuwe, stenen kerk gebouwd. De bevolking van het eiland in de polder was arm, daarom werd de kerk deels zelf gebouwd. In de jaren 60 van de 20e eeuw braken slechte tijden aan. Amsterdam, dat zijn industrieterreinen naar het westen wilde uitbreiden, begon plannen te maken voor het gebied in de Houtrakpolder. Grond en huizen werden aangekocht en in 1970 werd begonnen met het opspuiten van zand om de Houtrakpolder op te hogen. De rest van de bevolking moest in 1972 naar Spaarndam verhuizen. Op 22 juli 1973 werd de laatste mis opgedragen in de kerk. Vanaf 1973 heeft een merkwaardig samenspel van krachten geprobeerd de plannen van Amsterdam tegen te houden: de gemeente Haarlemmerliede, waar de Houtrakpolder onder valt, werkte samen met de inwoners van Ruigoord (kunstenaars, oud-Ruigoorders en vogels van zeer diverse, vaak exotische pluimage). Na 23 jaar strijd lijkt het gevecht verloren. De Houtrakpolder tot aan de Machineweg, met inbegrip van Ruigoord, is per 1 januari 1997 Amsterdams grondgebied geworden.