De historische wortels van het instituut Inspecteur-Generaal der Krijgsmacht (IGK) gaan terug tot 13 september 1945. Op die dag werd prins Bernhard benoemd tot Inspecteur-Generaal van de Koninklijke Landmacht (IGKL). Het ging hier om een nieuwe functie. Weliswaar kende ook in de negentiende eeuw het Nederlandse leger een inspecteur-generaal, maar de inhoud van die functie vertoonde geen gelijkenis met de rol die de prins kreeg toegewezen. In tegenstelling tot de inspecteur-generaal in de negentiende eeuw kon de prins het beleid niet bepalen, maar moest zich beperken tot het geven van adviezen aan de minister van Oorlog.
In december 1946 werd de prins ook aangesteld als Inspecteur-Generaal van de Koninklijke Marine (IGKM). Het aantal functies van prins Bernhard breidde zich in 1953 nog verder uit. Naast IGKL en IGKM mocht hij zich nu ook Inspecteur-Generaal van de Koninklijke Luchtmacht (IGKLu) noemen, een gevolg van het feit dat de luchtmacht in dat jaar een zelfstandig krijgsmachtdeel werd.
Hoewel de ministeries van Oorlog en Marine al in 1959 in 1 ministerie van Defensie waren opgegaan, zou het tot 1 januari 1970 duren, voordat de 3 functies van de prins werden samengevoegd tot de functie van Inspecteur-Generaal der Krijgsmacht (IGK). In september 1976 trad de prins, als gevolg van de Lockheed-affaire, af als IGK en werden alle formele banden met de krijgsmacht verbroken.
Het aftreden van prins Bernhard betekende niet het einde van het instituut IGK. De adviesfunctie van de IGK kreeg een meer structureel karakter en werd verder versterkt door maatregelen zoals het bespreken van de aanbevelingen IGK in het Politiek Beraad, het betrekken van ervaringen en aanbevelingen IGK bij de beleidsontwikkelingen en het vaststellen van bijzondere aandachtspunten door de bewindslieden.
Vanaf het aftreden van prins Bernhard tot heden is de functie van IGK vervuld door opperofficieren in de rang van luitenant-generaal/vice-admiraal, afkomstig van de Koninklijke Landmacht, Koninklijke Marine en Koninklijke Luchtmacht.