Koning Willem I vaardigde in 1828 een besluit uit dat in Paviljoen Welgelegen te Haarlem "eene kunstgallerij der werken van levende Nederlandsche meesters" moest worden ondergebracht. Het zou nog tot 1838 duren alvorens de Koninklijke Verzameling van Schilderijen van Levende Meesters, zoals het museum aanvankelijk heette, voor publiek werd opengesteld. De collectie omvatte in hoofdzaak 19e eeuwse schilderijen. De basis werd gevormd door schilderijen, die afkomstig waren uit het Koninklijk Kabinet van Schilderijen te Den Haag en het 's Rijks Museum te Amsterdam. In de loop van de tijd werd de collectie uitgebreid door aankopen, schenkingen en legaten. Van 1838 tot 1876 berustte het beheer over de Koninklijke Verzameling van Schilderijen van Levende Meesters, later 's Rijks Verzameling van Moderne Kunst genaamd, bij de directies van het Koninklijk Kabinet van Schilderijen te Den Haag en 's Rijks Museum te Amsterdam. De dagelijkse gang van zaken in het museum was in handen van een in Haarlem wonende opzichter en een conciërge. In 1876 werd het museum als gevolg van de reorganisatie van het 's Rijks Museum een zelfstandige organisatie. De leiding kwam in handen van een directeur, daarnaast was een Commissie van Toezicht ingesteld met een controlerende en adviserende taak. Het museum was geen lang leven beschoren, want al in 1885 werd het opgeheven. De gehele collectie werd vervolgens opgenomen in de collectie van het Rijksmuseum van Schilderijen te Amsterdam.