Propriétaire de la prison d’Espalion désormais désaffectée, le département décide, dès les années 1930 de la louer à la famille Mercier, négociants en ferraille, vaisselle, fourrure et autre produits.
La famille Mercier trouve en effet une utilité à ce grand bâtiment clos. Les cours de promenade servent à stocker la ferraille et dans les cellules sont entreposées les autres marchandises. Le rez-de-chaussée sert à accueillir les clients et à présenter les produits alors que l’étage du pavillon central est emménagé en habitation pour la famille.

La prison ne garde que très peu de traces de cette occupation, hormis la disparition des barreaux de la cellule sud-est du premier étage. En effet, les seuls aménagements autorisés à la famille Mercier sont le raccordement au téléphone, la création d’une salle de bain aujourd’hui disparue et l’ouverture d’un accès pour leur véhicule dans le mur sud de l’enceinte. Cet épisode est capital pour comprendre la place que tient l’ancienne prison dans la vie locale. En effet, dans la mémoire de beaucoup d’Espalionnais, ce bâtiment a conservé uniquement son image de commerce et son passé carcéral a en grande partie été éclipsé.
Les années 1980 sont synonymes de turbulences. Un projet de parking voit en effet le jour et aurait pu entraîner la destruction totale de l’édifice. Mais un compromis est trouvé impliquant d’une part la destruction des murs d’enceinte et des cours nord et, d’autre part, la conservation du corps principal et du porche d’entrée.

L’installation d’un musée au cours des années 1980 permet de protéger davantage le bâtiment en confirmant sa nouvelle vocation culturelle. Il est intéressant de noter que cet édifice a eu la chance d’avoir, outre un contexte favorable, de nombreux défenseurs. Il faut en effet rappeler les nombreuses destructions concernant les bâtiments historiques français et au premier rang desquels le patrimoine carcéral. Prenons l’exemple des prisons départementales aveyronnaises, au nombre de 5 jusqu’au milieu des années 1920. Hormis celle d’Espalion, toutes ont été partiellement ou totalement détruites à l’image de la prison centrale de Rodez détruite en grande partie en 2017.