Száz évvel később, 1753-as feljegyzések szerint a tömlöc már legalább három, fogva tartásra szolgáló helységgé bővült. Mikorra a veszprémi vár végvár jellege 1702-ben megszűnt, ennek következményeként egy 1753-as irat már megyei börtönként nevezi meg.
1810-ben az objektumot egy földrengés rongálta meg, majd 1887-től a Királyi Törvényszék épületeként funkcionált. Ezt 1905-ben lebontották, és a hozzá tartozó telket kibővítve új törvényszéki épületet emeltek, a különböző korok bővítései, hozzáépítései, ezek stílusjegyei élesen láthatók a börtönudvarról nézve. Ebben a klasszikus várbörtönben a fogvatartotti körletek az intézet építészeti sajtosságai miatt a várbéli bejárati szint alatt, a mélységben tagozódva, egymás alatt helyezkednek el. Ennek köszönhetően az épület a várból nézve csupán két emelet, a Jókai utca felől azonban további emeletek látszanak. A bejáratnál az úgynevezett udvar-szinten voltak a személyzet szolgálati és szociális helységei, az akkoriban még létező halálbüntetések végrehajtását is ennek az udvarnak egy szegletében bonyolították le, melyből az utolsó itt a 80-as évek elején történt.
A fogvatartottak elhelyezésére 2, 4, 8, 12 személyes szűk, dohos zárkák szolgáltak, ahol napi 23 órát töltöttek, elkülönítve egymástól a férfiak, nők és fiatalkorúak.
Volt híres, vagy inkább hírhedt fogvatartottja is az intézménynek a 19. században, Savanyú Jóska még „karrierje” hajnalán 1860-ban 8 hónapot töltött a veszprémi várbörtön falai között fegyveres csavargásért. Sokan még ma is úgy tudják, hogy Sobri is raboskodott e falak között, de ez csak szóbeszéd.
A börtön működése alatt többször történt szökési kísérlet, olyan is, amely sikerrel járt, volt példa olyanra mely filmbe illő módon, a várfalon összekötözött lepedőkön leereszkedve valósult meg. De kivétel nélkül minden szökevény kézre került rövid időn belül.
A vár alatt húzódik a Jókai (régen Hosszú) utca, ennek bal oldalát hívták a veszprémiek „beszélőnek”, a fogva tartottak és hozzátartozóik a völgy jó akusztikáját kihasználva itt tárgyalták meg ügyes-bajos dolgaikat.
