Kong Frederik III bestemte i en forordning av 8. april 1652 at alle som ble dømt for «ringe tyveri» skulle arbeide i jern og god forvaring på Akershus. Utover 1770-årene ble dette omtalt som Slaveriet. Den tids kriminalomsorg var en blanding av oppbevaring og «moralsk oppbyggelse» gjennom hardt arbeid. I stedet for å henrette kriminelle, ble de satt i tvangsarbeid. Slavene kunne settes til alle slags offentlige arbeider eller leies ut til private. Blant de innsatte var kjente størrelser som utbryterkongen Gjest Baardsen og Ole Høiland. I 1842 satt det så mange som 530 fanger her, alltid mannlige. Institusjonen ble omgjort til Akershus landsfengssel i 1902, sikringsanstalt fra 1937 og tysk militærfengsel i tiden 1940-1945. Etter 1945 ble det benyttet som fengsel for landssvikere og endelig nedlagt i 1950.
Kronprinsens kruttårn (1755) ble opprinnelig oppført som kruttårn for artilleriet under kong Frederik V. Den opprinnelig profilen er hvitmalt i fasaden. I 1830 ble tårnet inndelt i to etasjer og innredet til sovesal for 50-60 slaver. Her satt blant annet «mestertyven» Ole Høiland innesperret alene i et plankebur fra 1835 til han klarte å rømme i 1839 etter å ha gravd en tunnel i bakken under tregulvet. I første etasje ble det i 1891 etablert straffeceller som ble kalt «kummen» av fangene. Her satt man som straff for reglementsstridig oppførsel på halv kost i inntil 10 dager og sov på harde sengebrisker. Under andre verdenskrig ble tårnet benyttet som fangerom for norske dødsdømte patrioter. Medlemmer av den såkalte Pellegruppa forsøkte å rømme fra kruttårnet i mars 1945. De brøt seg ut gjennom celleveggen og kom seg ut av tårnet. De ble dog oppdaget på taket av Oslo Militære Samfund rett utenfor festningsmuren mot nord, mishandlet og kastet inn i straffecellene.
