De hoofdcollectie van het Koninklijk Kabinet van Zeldzaamheden te Den Haag werd gevormd door de Chinese en Japanse kunstvoorwerpen van mr. J.Th. Royer, substituut-griffier en secretaris van het Hof van Holland, die de kunstvoorwerpen omstreeks 1815 legateerde aan koning Willem I. In 1816 besloot de koning om deze collectie samen met een aantal objecten van zijn vader, stadhouder Willem V, in een apart musuem onder te brengen. In 1826 kocht Willem I uit eigen middelen een door het voormalig opperhoofd van de faktorij Deshima te Japan, J. Cock Blomhoff, bijeengebrachte verzameling Japanse voorwerpen. In 1832 schoot hij het Rijk 41.600 gulden voor om de aankoop van de Japanse verzameling van J.F. van Overmeer Fisscher te realiseren. De uitbreiding van de collectie werd dus ook na de oprichting krachtig ondersteund door de koning. De collectie van het Koninklijk Kabinet van Zeldzaamheden omvatte naast schilderijen en andere kunstvoorwerpen ook historische en etnografische objecten. Het verzamelterrein beperkte zich niet tot Europa, maar strekte zich feitelijk uit over de hele wereld. Van 1816 tot 1821 was het museum, samen met het Koninklijk Kabinet van Schilderijen, gehuisvest in de Departementale School aan het Buitenhof. In 1821 verhuisden de beide musea naar het Mauritshuis. Het Koninklijk Kabinet van Zeldzaamheden verhuisde tenslotte in 1876 naar het pand Lange Vijverberg 15. Vanwege de complexe samenstelling van de collectie en slecht beheer verloor het museum zijn bestaansrecht. In 1875 werden de voorwerpen met betrekking tot de Nederlandse geschiedenis overgedragen aan het pas opgerichte Nederlandsch Museum van Geschiedenis en Kunst. Op 1 februari 1883 sloot het museum de deuren voor publiek en was met onmiddelijke ingang opgeheven. De collectie werd verdeeld over zeven musea. Het grootste deel ging naar het Nederlandsch Museum van Geschiedenis en Kunst te Den Haag en het Rijks Ethnografisch Museum te Leiden.