De Dieventoren was van 1434 tot 1889 in gebruik als stadsgevangenis. De gevangenen kwamen vermoedelijk nauwelijks uit hun cellen om te worden gelucht. De trappen zijn gewoonweg te smal voor frequent gebruik. Dat verbeterde wat toen in 1829 ook het buurpand gevangenis werd.

Fantasiepoort

De Dieventoren werd ook wel Plompetoren genoemd, naar zijn zware, vierkante uiterlijk. Hij was onderdeel van de eerste stadsmuur, gebouwd omstreeks 1350. Toen de tweede stadsmuur in 1451 klaar was, was de eerste niet meer nodig. De muur werd afgebroken, behalve deze toren; die was immers in gebruik als gevangenis. Bij de restauratie is een doorgang gemaakt, maar het was nooit een poortgebouw geweest.