Het KNMI werd bij Koninklijk Besluit op 31 januari 1854 opgericht. Prof. C.H.D. Buys Ballot (1817-1890), de eerste hoofddirecteur, koos als locatie de sterrenwacht Sonnenborgh in Utrecht. In 1897 verhuisde het instituut naar De Bilt, waar ook nu nog de hoofdvestiging is.De organisatie is verdeeld onder sectoren: Meetsystemen en Infrastructuur, Waarnemingen en Modellen, Weersverwachtingen en Adviezen en Klimaatonderzoek en seismologie.
Onder het KNMI ressorteerden de volgende afdelingen:
-Instrumentele Afdeling [1956-1960];
-Afdeling Weerdienst en Luchtvaartmeteorologie [1956-1975];
-Afdeling Klimatologie en Landbouwmeteorologie [1956-1975];
-Afdeling Oceanografie en Maritieme Meteorologie [1956-1975];
-Afdeling Geofysica [1956-1975];
-Bureau Internationale Zaken [1961-1975];
-Directeur in Algemene Dienst [1961-1975];
-Directeur-Hoofd Wetenschappelijk Onderzoek [1961-1976];
-Stafafdelingen [1976];
-Hoofdafdeling Operationele Dienst [1976].[1]