De 4e Afdeling had taken omtrent de gevangenissen. In 1875 nam de afdeling het beheer van de gestichten Ommerschans en Veenhuizen over van het Ministerie van Binnenlandse Zaken. Het toezicht op de gevangenissen berustte bij het Ministerie van Justitie. De werkzaamheden richtte zich op de zorg voor de gevangenisgebouwen, personeel, de verzorging van de gedetineerden, hun overplaatsing en selectie, het vakonderricht en de arbeid in de gestichten.[1]
In de organisatie van het gevangeniswezen werd onderscheid gemaakt in gevangenissen voor langgestraften (huizen van correctie, - van reclusie en tuchtiging, - van militaire detentie) en kortgestraften (huizen van bewaring, - van arrest, - van justitie, provoosthuizen). Als bestuurscolleges fungeerden vanaf 1822 de colleges van regenten of (bij grote gevangenissen) commissies van administratie: deze correspondeerden met het ministerie, tot 1852 via de provinciale gouverneurs, daarna veelal rechtstreeks.[2]
In de eerste helft van de negentiende eeuw was gemeenschappelijk opsluiting de praktijk. Vanaf 1851 werd het stelsel van eenzame opsluiting (cellulair stelsel) ingevoerd, wat Justitie noodzaakte tot de bouw van nieuwe gevangenissen. De invoering van het Wetboek van Strafrecht in 1886 maakte een herziening van het gevangenisstelsel noodzakelijk. Voortaan werd onderscheid gemaakt in a) huizen van bewaring b) strafgevangenissen en c) passantenhuizen. Naast gevangenissen kwamen er rijkswerkinrichtingen voor bedelaars en landlopers. Het beheer kwam te berusten bij de directeur, onder de bevelen van het college van regenten.[3]
In 1889 werd de 3e Afdeling (Gevangenissen) opgeheven, hierdoor vond een hernummering plaats. De 4e Afdeling werd de 3e Afdeling (1889 t/m 1940).[4]