Du Carcer romain aux Quartiers de Haute Sécurité des années 1970 en passant par les culs-de-basse-fosse médiévaux, la société occidentale a depuis longtemps décidé de dédier des lieux précis à une fonction a priori essentielle à son bon fonctionnement : enfermer les criminels.
La ville d’Espalion n’échappe pas à cette constante. Si le doute reste permis sur ses dispositions les plus anciennes, il existe une mention d’une prison s’y trouvant dès l’Ancien régime. Ces prisons minimalistes sont en fait deux cellules, afin de séparer les hommes des femmes, localisées dans le sous-sol du « vieux palais ». Ce bâtiment, visage architectural de la ville d’Espalion avec le pont vieux dont il est voisin, a en effet servi un temps de tribunal, une affectation parmi tant d’autres qu’il a eue au fil des ans.

C’est durant le Premier Empire que les rapports des autorités locales se font de plus en plus alarmants quant aux conditions sanitaires présentes dans cette prison.
Il faut en effet imaginer le mode d’enfermement « archaïque » que l’on pratique dans ces lieux insalubres par nature. Ces cachots de taille réduite auraient accueilli jusqu’à 54 détenus en même temps, enfermés ensemble sans distinction d’âge, d’état de santé ou de chefs d’accusation. Les prévenus en attente de jugement sont retenus parmi les condamnés purgeant leurs peines, ceci dans une atmosphère délétère causée par le manque flagrant d’aérations et de préoccupations sanitaires, avec notamment une seule fenêtre donnant sur le Lot, au nord. Il faut ajouter à cela les latrines inexistantes, compensées par la présence d’un pot de chambre par cachot. La situation sanitaire est telle et les maladies si fréquentes que l’hospice de la ville devient une succursale de la prison, accueillant parfois jusqu’à la moitié des effectifs de celle-ci.

La salle d’audience n’est séparée des cachots que par un plancher et cela induit des nuisances sonores et olfactives terribles. Cette situation profondément dégradée et dégradante pour les détenus conduit la municipalité à réclamer une rénovation, un agrandissement mais surtout un assainissement des prisons et ceci dès les années 1806. La salle au sous-sol du « vieux palais », qui servait autrefois de prison, est aujourd’hui intégrée aux activités culturelles de cette résidence d’artiste.