L’histoire de Clairvaux, c’est tout d’abord celle de l’abbaye fondée en 1115 par des moines venus de Cîteaux, en Bourgogne. À leur tête celui qui va devenir un des personnages les plus influents de la Chrétienté : Saint-Bernard. L’abbaye étend progressivement son influence un peu partout en Europe et devient très riche. Au XVIIIe siècle des bâtiments plus spacieux sont construits alors même que les moines deviennent chaque jour moins nombreux. Finalement, la longue histoire monastique de Clairvaux s’achève avec la Révolution française. Le 2 septembre 1789, les biens du clergé sont déclarés « biens nationaux » et en février 1790, les ordres religieux - dont l’ordre cistercien-, sont dissous.
Le 10 février 1792, la vénérable abbaye est vendue aux enchères et achetée par un certain Cauzon qui y installe quelques industries, notamment une papeterie dans le bâtiment des fours et moulins, une verrerie dans l’abbatiale et une brasserie. En 1799, il vend son bien à un manufacturier, Rousseau, qui continue d’exploiter les dites industries sans plus de succès d’ailleurs.
Parallèlement à l’évolution « industrielle » de l’ex-abbaye, l’adoption d’un nouveau code pénal en 1791 - qui instaure la prison pour peine -, va offrir à Clairvaux une « troisième vie ». En effet, en 1808, Napoléon décide d’émailler le territoire français d’un certain nombre de maisons centrales pour absorber les détenus qui remplissent les prisons départementales. Rousseau en profite pour proposer à l’État de vendre son bien. Après une enquête très enthousiaste sur la capacité de Clairvaux à évoluer en prison, Napoléon signe l’acte d’achat le 27 août 1808. Clairvaux est désormais destinée à abriter un dépôt de mendicité et une maison centrale de détention pour les deux sexes condamnés à plus d’un an de prison. L’ancienne abbaye cistercienne dévolue à un enfermement volontaire pour les moines est vouée désormais à un enfermement contraint.
Cependant, transformer un tel ensemble en prison n’est pas une mince affaire et les retards dans la livraison des bâtiments sont légion. Le premier d’entre eux, le dépôt de mendicité, est finalement opérationnel en avril 1809. Pensé pour accueillir environ 400 vagabonds, il en abrite au mieux la moitié et ferme définitivement ses portes en 1816 sur un constat d’échec.