Rond 1361 laat ridder Dirc Loef van Horne een blokhuis bouwen op de strategische plaats waar Maas en Waal samenkomen. Dirc Loef begint met een simpele toren (het blokhuis), maar al snel - binnen 10 jaar - bouwt hij Loevestein uit tot een heus kasteel: het stenen huis van Loef. Dirc's leenheer, de machtige graaf van Holland, laat zijn oog vallen op het imposante bouwwerk op de grens van Holland en Gelre. Zo'n belangrijk kasteel op de grens van zijn graafschap wil hij zelf bezitten. Slot Loevestein is een klein stukje Holland omgeven door Gelders gebied. Vanaf 1372 is Loevestein inderdaad in grafelijke handen. In Loevestein wonen dan geen ridders meer, maar kasteleins: in opdracht van de graaf van Holland.In 1572 weten de geuzen Loevestein definitief in te nemen. Loevestein is voortaan in Staatse handen. Willem van Oranje laat Slot Loevestein versterken. Rondom het kasteel worden vestingwallen aangelegd. Daaromheen wordt een gracht gegraven. Binnen de vestingwallen wonen soldaten; aanvankelijk in houten barakken, later in stenen huisjes. Het kasteel staat kaal en leeg midden in de vesting. Het lijkt heel geschikt als gevangenis. Vrijwel alle kamers worden als cel gebruikt en de grote zaal op de tweede verdieping, die we nu nog 'Staatsgevangenis' noemen, wordt met houten scheidingswanden verdeeld. De gevangenen zijn geen criminelen, maar staatsgevangenen van de Republiek der Verenigde Nederlanden. In Loevestein zitten politiek en religieus andersdenkenden gevangen, evenals krijgsgevangenen. De bekendste gevangene is Hugo de Groot, die Loevestein beroemd maakt door zijn spectaculaire ontsnapping in een boekenkist.Vanaf 1575 wordt op initiatief van Willem van Oranje begonnen met het
moderniseren van de middeleeuwse verdedigingswerken rondom Loevestein.
Eind 1589 worden een vijfhoekige omwalling met 3 bastions, een half
bastion en een rondeel aangelegd. In 1651 wordt het middeleeuwse rondeel
vervangen door een nieuw bastion. Sindsdien is de vorm van de vesting
nauwelijks veranderd.In 1815 besluit koning Willem I - op advies van Cornelis Krayenhoff, inspecteur-generaal der Fortificaties - dat Utrecht in de Waterlinie moet worden opgenomen. Er wordt een Utrechtse Linie aangelegd, die wordt uitgebouwd tot de Nieuwe Hollandse Waterlinie. Tussen 1816 en 1824 worden veel forten gebouwd om de waterlinie naar het oosten op te schuiven. Ondanks deze nieuwe initiatieven wordt de Oude Hollandse Waterlinie gewoon afgebouwd. Die doet voortaan dienst als reservelinie. In 1874 bepaalt de Vestingwet dat de Nieuwe Hollandse Waterlinie onderdeel wordt van het centrale verdedigingsstelsel van de Nederlanden.De Nieuwe Hollandse Waterlinie is nooit in werking gesteld. Op drie momenten in de geschiedenis wordt de linie wel in staat van verdediging gebracht: tijdens de Frans-Duitse oorlog (1870), tijdens de Eerste Wereldoorlog en tijdens de mobilisatie van 1939. Na de Tweede Wereldoorlog blijkt de Waterlinie haar waarde verloren te hebben. Ook Loevestein verliest zijn militaire functie. Bij Koninklijk Besluit van 18 oktober 1951 is Loevestein opgeheven als militair steunpunt