Det ble opprettet en urtehage er på ukjent tidspunkt. Hagen synes på den eldste kjente avbildning av Akershus, fra 1580-tallet. Den ble holdt ved like med utvidelser, inkludert en badstue, kaninbur samt en innhegning for en hjort, frem til slutten av 1600-tallet. Da ble det etablert en ridebane her. Den nåværende bygningen ble sannsynligvis oppført i flere etapper frem til 1778 og er en tidstypisk militær bruksbygning. I 1787 ble det etablert fangeceller i nordre fløy. Den kjente bondeopprøreren Christian J. Lofthus satt her i ti år frem til sin død i 1797. Fra 1947 har bygningen inneholdt kontorer.