Na de opening van het Noordzeekanaal in 1876 en de daardoor ontstane zeehaven was IJmuiden als vissersplaats sterk in opkomst. Dat ging niet zonder slag of stoot. Door onderlinge rivaliteit ontstonden verschillende particuliere visafslagen. De vele schepen die in IJmuiden hun toevlucht zochten bij slecht weer of om hun lading te lossen, vormden tenslotte een grote belemmering voor de overige scheepvaart. De aanleg van de Vissershaven waarmee in 1890 begonnen was, zorgde in 1896 voor een hele verbetering. Ook werd het Staatsvissershavenbedrijf gesticht. Na een lange onderlinge strijd tussen particuliere en de door het Rijk gestichte visafslag werd tenslotte de overwinning behaald door de laatstgenoemde omdat het Rijk een besluit uitvaardigde, dat alle aangevoerde vis moest worden verhandeld via de Rijksvisafslag. Om de krachten te bundelen tegen, wat als monopoliepositie van het Rijk werd gezien, werd in 1908 de IJmuider Vishandelvereniging (IJVV) gesticht en goedgekeurd bij Koninklijk Besluit van 20 juli 1908 nr. 89. Met de spoorwegen werden contracten gesloten voor het vervoer van vis en visproducten naar binnen- en buitenland. Tot eind van de jaren 30 slaagde men er in om een groupageregeling in het leven te houden, toen steeds meer handelaren over eigen vrachtauto's gingen beschikken. Tijdens de Tweede Wereldoorlog moest de IJVV op last van de bezetter liquideren. Toen werd de Plaatselijke Vakgroep Groothandel in vis, afdeling IJmuiden opgericht. In 1952 werd de naam weer veranderd in IJVV. Vanaf 1954 zette het verval van de IJmuider trawlervloot in, waardoor het werkterrein deels werd verlegd door in- en verkoop in andere aanvoerplaatsen. Door toename van het aantal leden buiten IJmuiden werd in 1954 de naam gewijzigd in Nederlandse Zeevisgroothandel Vereniging. Het aantal leden bedroeg in 1958 140. De quotering van de visvangsten had grote gevolgen, mede door het verdwijnen van een groot aantal schepen. Het aantal groothandelaren was in 2008 gedaald tot ca. 40.