I middelalderen lå antagelig «Vanntårnet» her. Dette var et forsvarstårn og muligens vannsisterne for oppsamlig av drikkevann. Tårnet ble revet av lensherre Christiern Munk som oppførte et kombinert kanontårn og porttårn her. Den nye «Jernporten» ble anlagt rett inntil tårnets vestfasade som erstatning for den gamle porten i Jomfrutårnet. På 1800-tallet ble kronregaliene oppbevart i tårnets øverste etasje.