In 1860 besloot de gemeenteraad van Haarlem een waardiger onderkomen te bieden aan de over het stadhuiscomplex verspreide kunstschatten. Twee grote zalen boven het Pand en het Prinsenhof werden in dat jaar voor dat doel ingericht. In 1861 werd op de nieuwe locatie een eerste tentoonstelling over de productie van de Nederlandse nijverheid georganiseerd. De zalen werden daarna bestemd voor permanente expositie van de gemeentelijke bezittingen. De hoofdmoot van deze bezittingen vormde in de 19e eeuw reeds de verzameling groepsportretten van Frans Hals, welke al in 1828 op het stadhuis was ondergebracht. Het Stedelijk Museum (Frans Hals Museum) werd op 30 juni 1862 geopend. Sinds 1780 is er een register aangelegd waarin de bezoekers van de schilderijen, die in de zalen en gangen van het stadhuis te zien waren, hun namen moesten schrijven. Door aankopen en schenkingen groeide het stedelijk kunstbezit zo gestaag, dat al in 1908 besloten werd om een nieuw museum in te richten. Hiertoe werd het Oude Mannenhuis aan het Groot Heiligland bestemd, dat op 14 mei 1913 als museum in gebruik genomen werd. De kern van de verzameling wordt gevormd door de acht schutters- en regentenstukken van Frans Hals. Er zijn echter ook werken te zien van andere Hollandse meesters. Het museum bezit tevens een uitgebreide verzameling Haarlems zilver, glas, aardewerk en voorwerpen met betrekking tot de geschiedenis van de stad. Verder is er 17e en 18e eeuws meubilair, een oude apotheekinventaris en het fraaie 18e eeuwse poppenhuis van Sara Rothé. De verzameling moderne kunst bevat schilderijen, grafiek, beeldhouwkunst, objecten, textielkunst en keramiek. Door de gemeentelijke aankoop van het Huis van Looy aan de Kleine Houtweg (1950) en de verwerving van de Vishal (1961) en Vleeshal (1963) werd de tentoonstellingscapaciteit ten bate van de moderne collectie aanzienlijk uitgebreid. Het werk van de in 1995 overleden kunstenaar Kees Verwey, wordt tentoongesteld in de naar hem vernoemde hal.