L'entrée du bâtiment carcéral est restée l'entrée principale du château jusqu'à l'ouverture du musée en 2008. Cette entrée donne sur la tour et permet au XIXe siècle de desservir trois espaces : l'aula, la salle carcérale et le vestibule de l'escalier, donc les étages. Aujourd'hui, la tour communique uniquement avec l'aula, les autres ouvertures ont été murées.
La salle carcérale est alors divisée en quatre espaces "salon, greffe, cuisine, salle servant de cuisine et de parloir". On distingue encore de nos jours les trous de solives d'un niveau disparu, l'entresol et deux portes donnant sur l'entrée du bâtiment et le grand escalier central de la prison, construit en 1828.
L'aula, salle médiévale majestueuse, est une pièce importante de la prison. Divisée en deux dans le sens de la largeur par un mur qui englobe la colonne au centre de la pièce, cette salle est un lieu de détention pour hommes.
Le mur permet de séparer les prévenus et les détenus. Les détenus, condamnés par un juge, purgent ici leur peine d'emprisonnement. Leur dortoir est situé dans la pièce de droite. Les prévenus sont en détention provisoire en attendant d'être jugés pour leur délit. Leur dortoir est situé dans la pièce de gauche.
Le seul vestige carcéral visible est un guichet aujourd'hui muré. Au XIXe siècle, il fait communiquer les gardiens qui empruntent l'escalier du donjon avec les détenus présents dans la salle.
Les portes du musée passées par les visiteurs pour accéder aux différentes salles sont les mêmes que celles utilisées par les gardiens ou les prisonniers. Représentatives des portes de prison du XIXe siècle, elles sont en chêne massif, renforcées dans leur épaisseur pour une meilleure solidité. Elles se ferment avec une grosse serrure garnie de sa clé et une clenche poucier et disposent d'un judas, un système qui permet de voir sans être vu. Le système le plus complet est celui encore visible sur la porte du donjon, cachot à l'époque carcérale.
De l'entresol, espace intermédiaire ayant existé entre 1828 et 1938, il ne subsiste qu'un palier avec une inscription "corridor 4 chambres". Les fonctions de ces espaces ont évolué au cours des 110 ans d'occupation mais en 1934, à la fermeture du bâtiment, on y trouve une infirmerie pour les hommes, une cuisine, une lingerie ainsi qu'un magasin à vivres.
A l'étage du château, plusieurs espaces et traces d'occupation carcéraux sont inclus dans le parcours de visite.
Le plus emblématique est sans doute la chapelle, installée à partir de 1826. On y trouve un décor en bois contenant une sentence en latin qui devait être située juste au-dessus de l'autel, Ad Majorem Dei Gloriam, la plus grande gloire de dieu. Mais on remarque également une ouverture munie de barreaux. C'est la seule fenêtre à barreaux conservée aujourd'hui dans le château. Une ouverture similaire était présente dans le mur de droite, permettant ainsi aux prisonniers des deux sexes (les femmes, à gauche, les hommes, à droite), d'assister à la messe sans se côtoyer.
La salle appelée prison des femmes a été construite lors de l'extension de la prison en 1826. Réservée à la détention des femmes, sa disposition est similaire à celle de l'entresol, avec quatre espaces reliés par un couloir central.
Au XIXe siècle, la salle gothique s'organise autour d'un couloir qui sépare un dortoir à l'ouest, côté cour, d'un couloir, situé à l'est, côté rivière. De l'époque carcérale date une fenêtre, aujourd'hui comblée, dont il subsiste un linteau de bois. A sa gauche, on trouve les restes d'une cheminée.
Les espaces sous combles ne présentent plus aucune trace de l'occupation carcérale, à l'exception d'une fenêtre avec barreaux dans l'étage supérieur du donjon.
A l'extérieur, la haute cour du château fut pendant plus de 250 ans la cour de la prison. En 1838, un mur est créé pour séparer l'espace dévolu aux hommes à droite de celui des femmes à gauche. Puis à partir de 1854, de nouveaux espaces sont aménagés : chemin de ronde, cour d'honneur, cour des détenus à gauche de l'entrée et cour des prévenus à droite. A la fermeture de la prison en 1934, l'état des lieux mené par le gardien-chef nous apprend que les bâtiments annexes, aujourd'hui disparus, sont présents dans cet espace. Un parloir est placé à l'entrée, au niveau du grand portail actuel. On y trouve en outre un greffe et le cabinet d'instruction à gauche du parloir, la chambre du surveillant au-dessus de l'entrée ainsi que le poste de surveillance. Il ne reste pas d'indices archéologiques visibles de nos jours mais plusieurs éléments ont été observés lors des fouilles archéologiques menées à la fin des années 1990, notamment les murs de séparation.
Les gravures et cartes postales du début du XXe siècle présentent des fenêtres carrées sur la façade côté rivière. Adapté à la fonction carcérale, le fenêtrage carré est venu remplacer les hautes ouvertures rectangulaires antérieures. Trop proches du sol, ces grandes ouvertures sont obstruées dans les années 1820 pour éviter les évasions. Le même principe est utilisé pour les fenêtres côté cour, même si on note des fenêtres plus grandes à l'étage du bâtiment.