Jusqu’en 1857, le statut administratif de chef-lieu d’arrondissement permet à la ville d’Altkirch d’être le siège de la sous-préfecture ainsi que du tribunal de première instance du département du Haut-Rhin. Mulhouse, qui n’a que le statut de chef-lieu de canton, connaît pourtant durant la première moitié du XIX^e siècle un développement économique et un accroissement démographique importants : sa population passe de 6 018 habitants en 1800 à près de 45 981 en 1856. Les deux villes étant distantes d’environ 20 kilomètres, cette situation impose aux Mulhousiens des déplacements « onéreux et désagréables » et entraîne des réclamations ainsi que de nombreuses pétitions, notamment de la part du conseil municipal de Mulhouse.
La décision est donc prise en 1857 de transférer le siège de la sous-préfecture à Mulhouse qui devient de facto chef-lieu d’arrondissement. En parallèle, un décret du ministre de la Justice du 7 juillet 1859 décide d’y déménager le tribunal de première instance. La justice de paix ayant pour ressort le canton, Mulhouse accueille à cette époque un tribunal de simple police. De ce fait, la ville ne dispose pas d’une maison d’arrêt, mais d’une maison de police municipale (ou dépôt de sûreté) d’une capacité de 20 places. D’après le procureur général de Colmar, il faudrait que la ville puisse disposer d’une maison d’arrêt offrant au moins plus du double de places pour pouvoir répondre aux besoins du futur tribunal. En outre, ce petit établissement est particulièrement insalubre et offre peu de sécurité.

Afin de parer au plus pressé, l’architecte du département du Haut-Rhin, François Louis Laubser, soumet au mois d’août 1859 au préfet du Haut-Rhin un projet d’appropriation d’un immeuble appartenant à un particulier pour y aménager une maison d’arrêt provisoire. Il s’agit de l’aile d’un grand bâtiment situé derrière la synagogue de Mulhouse qui comprend un rez-de-chaussée ainsi que deux étages. L’architecte propose d’affecter entièrement à la prison les deux étages du bâtiment qui sont occupés par des ménages d’ouvriers, le rez-de-chaussée accueillant une « auberge de voyageurs pauvres » que le propriétaire souhaite continuer à louer. Le préfet du Haut-Rhin approuve ce projet et le bâtiment est réceptionné au mois de juillet 1860. En septembre 1862, le propriétaire consent à céder son « auberge de voyageurs indigents » au département du Haut-Rhin ce qui permet de déplacer le quartier des femmes au rez-de-chaussée de la prison. Néanmoins, cet établissement s’avère à son tour particulièrement insalubre. D’une capacité de 40 places, l’air y circule mal et menace « sérieusement la santé des détenus ». La décision est donc prise de transférer les détenus considérés comme les moins dangereux dans l’ancien dépôt de sûreté de Mulhouse afin de désengorger cette nouvelle prison qui est alors comble. Malgré son agrandissement, cet établissement ne constitue à son tour qu’un pis-aller en attendant la construction du tribunal de première instance et l’aménagement d’une véritable maison d’arrêt à Mulhouse. À cet effet, le ministre de l’Intérieur réclame au préfet du Haut-Rhin de mettre un terme à cette situation et d’engager enfin les travaux nécessaires.

Le ministre demande en parallèle au maire de Mulhouse de lui faire connaître un emplacement dans sa ville susceptible de pouvoir accueillir les futurs maison d’arrêt et tribunal. Mais l’installation d’un tel ensemble (évalué à une surface totale d’un hectare et 30 ares) au centre de la ville de Mulhouse nécessite des expropriations très couteuses et suscite des craintes de la part de la population locale. Il est donc décidé de désolidariser le tribunal de la prison et de construire cette dernière à la périphérie de la ville. Parmi les terrains sélectionnés, le président du tribunal et le procureur impérial optent pour celui appartenant à un certain Wild-Kœchlin. Sa grande emprise au sol permet effectivement la construction du futur établissement qui nécessite un espace d’au moins 90 ares. Situé derrière la rue d’Illzar, il est proche du centre-ville et borde la rivière Steinbaechlein, ce qui permet de disposer d’une alimentation en eau. Au mois d’octobre 1861, le Conseil général du Haut-Rhin autorise le préfet à acquérir ce terrain et l’acte de cession est dressé le 25 novembre suivant.

La construction tarde toutefois et le ministre de l’Intérieur s’en plaint auprès du préfet du Haut-Rhin au mois de juillet 1862. Cette année-là, cinq évasions se produisent dans la prison provisoire dont le quartier des hommes atteint des pics d’occupation de près de 80 détenus. Las, le ministre de l’Intérieur donne des ordres très fermes au préfet pour que le Conseil général du Haut-Rhin finance enfin les travaux de construction de la nouvelle maison d’arrêt. Un projet est donc rapidement proposé par l’architecte du département du Haut-Rhin et il est validé par le ministre de l’Intérieur le 9 janvier 1864. Les travaux débutent mais prennent du retard. En décembre 1866, le président du consistoire réformé de Mulhouse signale en effet au préfet que le plan de la maison d’arrêt de Mulhouse prévoit bien l’aménagement d’une chapelle catholique, mais pas d’un oratoire protestant. De son côté, le clergé catholique se plaint de la configuration de la chapelle dont l’autel occasionne une gêne sérieuse pour la circulation des détenus. Pour y remédier, l’architecte fait surélever de deux étages le rez-de-chaussée du bâtiment d’entrée de la maison d’arrêt. Le premier accueille la chapelle catholique et le second l’oratoire protestant. L’achèvement des travaux permet de transférer le 14 octobre 1867 103 détenus issus des maisons d’arrêt d’Altkirch et de Mulhouse. L’établissement est ensuite officiellement réceptionné le 31 décembre 1868 pour un coût total de 329 066,68 francs.

Les trois bâtiments que compte la prison se répartissent le long d’un couloir. Le premier (dit quartier A) abrite les logements du gardien chef et des sœurs chargées de la surveillance des femmes détenues, les chauffoirs des détenus pour dettes, des jeunes détenus, des femmes prévenues et de celles condamnées. Deux cours de promenade réservées pour l’une aux jeunes détenus et aux détenus pour dette et pour l’autre aux femmes prévenues et condamnées séparent le premier quartier du second (dit quartier B). Celui-ci accueille d’un côté le chauffoir des condamnés et de l’autre celui des prévenus. Deux nouvelles cours de promenade réservées aux condamnés et aux prévenus séparent le second bâtiment du troisième qui accueille le quartier d’isolement constitué de cellules individuelles. En ce qui concerne les deux étages, ils sont composés de dortoirs et d’ateliers de travail collectifs. De ce fait, la maison d’arrêt de Mulhouse a été édifiée conformément à la circulaire du 17 août 1853 qui prescrit aux conseils généraux la construction de maisons d’arrêt départementales assurant des séparations de détenus par quartiers communs. Faute d’archives disponibles, il est difficile de connaître précisément le fonctionnement de l’établissement et d’analyser la société qu’y forment le personnel pénitentiaire et les détenus à la fin du XIX^e siècle. Ce manque de sources provient essentiellement du fait que la prison passe rapidement sous tutelle allemande à partir de 1871. La guerre franco-allemande de 1870 et la défaite française entraînent effectivement la signature du traité de Francfort le 10 mai 1871 et la cession du territoire de l’Alsace-Lorraine à l’Allemagne. La maison d’arrêt de Mulhouse passe donc sous la souveraineté de l’Empire allemand jusqu’en 1919.

À la suite du premier conflit mondial, la signature du traité de Versailles le 28 juin 1919 entraîne la rétrocession de l’Alsace-Lorraine à la France. L’administration pénitentiaire reprend donc à cette date possession de la maison d’arrêt de Mulhouse et y découvre que les Allemands y ont réalisé d’importants travaux. Comme à la maison d’arrêt de Colmar, un nouveau quartier cellulaire de trois étages y a été construit et cet édifice cohabite désormais avec l’ancien quartier collectif. Cet ensemble de dortoirs et de cellules individuelles peut officiellement héberger jusqu’à 550 détenus. Toutefois, le nouveau quartier cellulaire dispose du tout-à-l’égout tandis que le quartier en commun ne dispose toujours que de tinettes. Un grand bâtiment situé à l’extrémité de la détention appelé « quartier des jeunes détenus » ou « quartier annexe » a également été édifié. Il comprend 67 cellules et trois dortoirs répartis sur trois étages. Une ancienne prison militaire, à l’origine indépendante de la maison d’arrêt de Mulhouse, a également été intégrée dans l’enceinte de l’établissement et héberge les femmes détenues.

La prison a également connu durant cet intervalle allemand une autre évolution remarquable. Alors qu’elle avait été construite initialement en dehors de la ville, le tissu urbain s’est peu à peu étendu tout autour d’elle et a fini par la gagner. Il ne s’agit donc désormais plus d’une prison située à la périphérie de Mulhouse, mais d’un établissement de centre-ville. Cette situation entraîne des tensions avec le voisinage immédiat ainsi que des risques d’évasion car l’établissement ne dispose pas d’un chemin de ronde.
L’inspecteur des services administratifs qui visite l’établissement en 1929 note que les cellules sont suffisamment aérées et que chacune est alimentée en eau et en électricité. Le chauffage est assuré par un calorifère central, sauf dans les ateliers de travail en commun, les chambres des femmes détenues et les bureaux qui sont chauffés au moyen de poêles. Les travaux proposés aux détenus sont relativement sommaires et leur rapportent quotidiennement entre six à dix francs. Ils s’effectuent soit dans des ateliers en commun (confection de tapis, de paillassons, d’objets de vannerie, réparation de sacs, fabrication de crayons, etc.), soit dans leurs cellules (triage de déchets de laine, fabrication de pochettes en papier, de cahiers, etc.). Le chômage demeure toutefois important et affecte près de la moitié des condamnés ainsi que la quasi-totalité des prévenus dans les années 1930. Au niveau sanitaire, l’établissement dispose de deux infirmeries installées chacune dans les quartiers des hommes et des femmes. Un médecin y effectue une consultation tous les deux jours et ausculte les entrants ainsi que le personnel qui le souhaite. Enfin, les détenus n’ont droit qu’à une douche hebdomadaire.

Durant l’entre-deux-guerres, la maison d’arrêt de Mulhouse est une prison dans laquelle des détenus en sous-effectif patientent jusqu’à leur procès avant d’être orientés vers un établissement pour peine. Son personnel est composé d’un surveillant-chef qui dirige l’établissement, d’un commis-greffier, de deux premiers surveillants, de 17 surveillants et de cinq sœurs chargées de la surveillance des femmes et des services généraux (buanderie, cuisine, repassage et raccommodage).
Mais à partir de 1938, l’établissement accueille une nouvelle catégorie de condamnés à laquelle ses agents ne sont guère familiarisés, les relégués. De statut de maison d’arrêt et de correction, la prison de Mulhouse devient également à partir du mois d’avril 1938 un « dépôt pour relégables ». L’arrivée de cette nouvelle catégorie pénale entraîne un brusque accroissement des effectifs qui se répartissent désormais autour d’un tiers de prévenus, d’un tiers de condamnés et d’un tiers de relégués. Les relégués sont essentiellement des délinquants récidivistes condamnés par des tribunaux correctionnels pour des délits de vol, d’escroquerie ou de vagabondage. Pour s’assurer d’eux, la loi sur la relégation des récidivistes du 27 mai 1885 décide de les interner perpétuellement sur le sol d’une colonie, c’est-à-dire aux bagnes coloniaux de Nouvelle-Calédonie (de 1885 à 1931) et de Guyane (de 1885 à 1953). Les relégués s’y retrouvent soumis à un régime de travaux forcés à peu de choses près identique à celui qu’y subissent les transportés condamnés par la loi du 30 mai 1854 sur l’exécution de la peine des travaux forcés.

La relégation n’est pas une peine principale, mais une peine accessoire qui s’ajoute à une peine principale. Il s’agit d’une mesure de sûreté prise contre des condamnés qui, une fois envoyés dans une colonie, doivent en théorie y demeurer libres. De ce fait, les relégués métropolitains doivent d’abord purger leur peine principale dans un établissement pénitentiaire puis, à l’issue de celle-ci, doivent être conduits au dépôt des forçats de Saint-Martin-de-Ré afin d’être transférés au bagne colonial. Mais les convois de forçats en direction de la Guyane sont suspendus à partir de 1935 car un projet de loi portant réforme de la peine des travaux forcés, du régime de la relégation et suppression de la transportation en Guyane est déposé à l'Assemblée nationale le 29 décembre 1936. Ce processus d’abolition du bagne colonial n’aboutit en définitive qu’à un décret-loi du 17 juin 1938 qui met un point final à la transportation en Guyane. La loi sur la relégation n’étant pas abrogée, les relégués doivent donc reprendre le chemin du bagne. Au mois de décembre 1938, un convoi est organisé depuis Saint-Martin-de-Ré mais l’irruption du Second Conflit mondial entraîne derechef leur suspension. Dans l’attente de la reprise des départs pour le bagne, les relégués qui ont achevé leur peine principale sont concentrés dans différents établissements pénitentiaires métropolitains, dont la maison d’arrêt de Mulhouse.

Cette situation entraîne des tensions à Mulhouse car beaucoup de relégués ne comprennent pas leur sort. Ils vivent très mal le fait d’être soumis à un régime carcéral dans une prison métropolitaine alors que la loi qui les a condamnés ordonne leur internement en Guyane. Ce sentiment d’injustice est aggravé à Mulhouse par le fait qu’ils y subissent un régime carcéral très sévère. Considérés par les agents comme des forçats dangereux, l’arrivée de 30 à 40 relégués en 1938 entraîne un doublement du personnel d’encadrement de la prison qui passe de 12 à 24 surveillants en l’espace d’un an. Cet accroissement des effectifs de surveillance traduit l’effroi que suscite les relégués auprès de l’administration pénitentiaire et cette crainte se répercute également sur leur régime carcéral. Celui-ci est bien plus sévère que celui qu’ils subissaient dans leurs établissements d’origine. À Mulhouse, ils n’ont le droit de fumer que dans la cour de l’établissement au moment de la promenade. Alors qu’à la maison centrale d’Ensisheim, ils disposaient du droit de fumer en cellule ou bien pendant le travail à la maison d’arrêt de Lyon. Les relégués se plaignent également de la mauvaise qualité de leur nourriture et de ne pas pouvoir obtenir de cantine chaude. Ce régime est si sévère que deux relégués tentent de se suicider au mois de septembre 1938. La situation continue de se dégrader et de graves incidents éclatent les 31 mars et 1^er avril 1939 à la suite du suicide d’un relégué. Ce mouvement de révolte est très durement réprimé par l’administration pénitentiaire et un inspecteur des services administratifs est détaché sur place pour enquêter. Son rapport dénonce le régime drastique auquel sont soumis les relégués et l’attitude de la direction de l’établissement qui nourrit une crainte infondée vis-à-vis de cette catégorie pénale.
À l’inverse d’autres établissements pénitentiaires qui ont l’habitude d’accueillir des relégués, leur arrivée soudaine à la maison d’arrêt de Mulhouse désarçonne des agents qui ne sont pas habitués à gérer ce type de population pénale. Et les représentations négatives qu’ils nourrissent à leur encontre les conduisent à les craindre et donc à les traiter sans ménagement. Pour mettre un terme à cette situation, l’inspecteur préconise la mise en œuvre de mesures destinées à adoucir le régime carcéral des relégués, comme le droit de fumer en cellule, l’autorisation de se promener deux par deux et de converser durant la promenade, de distribuer davantage de travail, d’éliminer la peine de cachot au profit de celle de cellule, etc. Mais il est difficile de savoir si ces mesures ont été appliquées car à la suite de la Seconde Guerre mondiale et de la signature de l’armistice du 22 juin 1940, l’Alsace est une nouvelle fois annexée et la maison d’arrêt de Mulhouse repasse sous souveraineté allemande.

Au mois de novembre 1944, la ville de Mulhouse est libérée et l’administration pénitentiaire récupère à nouveau son établissement. En octobre 1945, le contrôleur général des prisons Pierre Cannat (1903-1998) le visite et, face à sa grande capacité d’accueil, décide de transformer le quartier des hommes de la maison d’arrêt en maison centrale. La maison d’arrêt et de correction de Mulhouse accueille donc le 1^er avril 1946 un quartier maison centrale destiné à l’incarcération des condamnés par des cours de justice et un quartier de force (ou « maison de réforme ») pour forçats primaires (c’est-à-dire des condamnés à la peine des travaux forcés). Les cours de justice ont été créées par l’ordonnance du 26 juin 1944 relative à la répression des faits de collaboration. Instituées au chef-lieu de chaque ressort de cour d’appel, elles jugent les faits commis entre le 16 juin 1940 et la Libération qui « constituent des infractions aux lois pénales lorsqu’ils révèlent l’intention de leurs auteurs de favoriser les entreprises de toutes natures de l’ennemi. » Le nombre de ces condamnés entraîne une forte augmentation de la population carcérale à la Libération, ce qui oblige l’administration pénitentiaire à ouvrir en urgence des camps provisoires pour pouvoir les héberger. Afin de soulager les établissements pénitentiaires et fournir une main-d’œuvre à un pays qui en manque au moment où il s’engage dans un important effort de reconstruction, une note de service du 16 juillet 1946 autorise l’emploi des détenus en dehors de leurs établissements pénitentiaires pour des travaux d’intérêt général. Cette possibilité est étendue aux condamnés par les cours de justice sous réserve qu’il s’agisse de « condamnés primaires, de bonne conduite en prison, dont le restant de la peine à courir [est] égal à 2 ans. » Mais l’utilisation de ce dispositif par le personnel de la prison de Mulhouse entraîne un dévoiement qui met en lumière les multiples « zones franches » qui existent au sein de l’établissement.

Au mois d’octobre 1949, le parquet de Mulhouse demande au commissaire de la ville d’ouvrir une enquête au sujet des nombreuses compromissions dont le personnel pénitentiaire et les détenus de la prison de Mulhouse seraient coupables. Les fautes de service reprochées aux surveillants concernent en premier lieu les placements des détenus à l’extérieur. Ceux-ci sont employés comme ouvriers agricoles par des cultivateurs et bénéficient d’un contrat de travail. Le détenu Hessling, boucher de profession, a été condamné à huit mois de prison pour abattage clandestin. Placé chez un agriculteur mulhousien, il est arrêté par la police en train de travailler dans sa boucherie qu’il avait, dans les faits, revendue grâce à un contrat fictif à un membre de sa famille. Quant au détenu Bottlaeder, médecin, il a été condamné à un an de prison par la cour de justice du Haut-Rhin pour des faits de collaboration. Placé également chez un agriculteur nommé Deguille, il est surpris « confortablement installé dans une belle chambre, où il recevait fréquemment la visite de sa famille. » L’affaire est d’autant plus grave que Deguille a exercé la fonction d’Ortsbauernfurhrer (soit chef local de la corporation agricole) durant l’Occupation et « que son attitude au point de vue Français a donné lieu, de ce fait, à de sérieuses critiques. » Le surveillant-chef a ainsi confié un détenu condamné pour des faits de collaboration aux soins d’un ancien collaborateur… Enfin, le détenu Friess, restaurateur, a été condamné à un an et un jour de prison pour trafic de devises. Dans la ferme dans laquelle il a été placé, il « échappait pratiquement à tout contrôle et pouvait sortir librement en ville » où il est surpris au cinéma ou au bar en compagnie d’une femme. Ainsi, pour ces détenus condamnés pour des faits de collaboration ou économiques et qui ont leur domicile à Mulhouse ou à proximité, ces placements à l’extérieur permettent essentiellement d’échapper au régime carcéral.

Les tolérances à l’égard des détenus confinent également à la complicité comme en témoignent les différents exemples qui vont suivre. Le détenu Mertz, cafetier condamné à 18 mois de prison pour complicité de vol, accompagne le surveillant Vincent à son nouveau domicile pour l’aider à installer son mobilier. Les deux hommes déjeunent ensuite ensemble dans le café appartenant au détenu où ils sont rejoints par le surveillant Durin. Mertz parvient ensuite à fausser compagnie aux deux surveillants pour retrouver son amie dans un bar de la ville. Dénoncé par celle-ci, il est arrêté par la police et reconduit en prison. Le surveillant Coudret, gérant du mess de la prison, se rend fréquemment en ville accompagné par le détenu Forlet qui l’assiste pour récupérer des marchandises. Mais vers la fin du mois de septembre 1946, les deux hommes se font conduire en taxi dans un café situé à Bourtzwiller, après avoir récupéré au passage une jeune fille dont le père est détenu à la prison de Mulhouse. Ensemble, ils consomment dans cet établissement qui « passe pour être une maison de prostitution clandestine ». Les frais de transport et de consommation sont payés par Forlet et, quelques jours plus tard, celui-ci invite les surveillants Vincent et Daval à un déjeuner en ville pour fêter sa libération ! Ces multiples exemples de rapprochements entre détenus et surveillants témoignent de la proximité qui peut s’établir entre eux au sein de la prison de Mulhouse. Le profil de ces détenus, plutôt aisés et bien installés, leur permettent de soudoyer facilement ces surveillants ou de lier amitié avec eux. Mais ces entorses au règlement ne sont pas seulement attisées par la seule promesse de boissons ou de nourriture offertes gracieusement, elles peuvent aussi être dictées par un souci d’humanité. C’est par exemple le cas du surveillant Latuner qui demande au mois d’octobre 1946 au surveillant-chef l’attribution d’un détenu pour effectuer des travaux à son domicile. Le détenu Hofer, condamné à quatre ans de prison pour des faits de collaboration, insiste alors auprès du surveillant pour être désigné. Le dimanche suivant, son épouse se présente au domicile du surveillant et passe la journée en compagnie de son mari. Le couple déjeune et dîne à la table du surveillant. Pour sa défense, Latuner indique qu’il a agi par humanité pour permettre à cette femme qui est mère de quatre enfants de passer quelques heures auprès de son mari…

Ces faits s’expliquent notamment du fait de la mauvaise gouvernance de l’établissement. Depuis le début de l’année 1946, le surveillant-chef Didelot a été nommé à la tête de la maison d’arrêt de Mulhouse. Celui-ci a passé la période de l’Occupation à la maison d’arrêt de Largentière, en Ardèche, où il a observé une attitude irréprochable et obtenu des « certificats émanant de personnalités qualifiés de la Résistance » signalant les services qu’il a rendus. Ses états lui permettent d’être muté de Largentière, où il occupait un poste de troisième classe, à Mulhouse où il occupe désormais un poste de première classe. Cette soudaine promotion est principalement due à son attitude pendant la guerre. Malgré une « droiture et une parfaite honorabilité », il fait néanmoins preuve de négligence et de laisser-aller dans la direction de son établissement et, surtout, accorde une confiance excessive « à des agents qui ne le méritaient en aucune façon ». En clair, il manque « des qualités requises pour diriger seul un établissement pénitentiaire de l’importante de la maison d’arrêt de Mulhouse qui abrite plus de 500 détenus. » Au mois d’avril 1946, un jeune sous-directeur muté de la maison d’arrêt de Fresnes prend ses fonctions à Mulhouse pour y diriger la maison centrale qui vient tout juste d’ouvrir ses portes. Cette arrivée est mal vécue par le surveillant-chef Didelot qui souhaite conserver la direction de la maison d’arrêt et voit « d’un mauvais œil l’arrivée d’un jeune fonctionnaire amené à exercer une autorité supérieure sur sa gestion. » Le directeur régional des services pénitentiaires de Strasbourg intervient alors pour départager les deux hommes : la gestion de la maison centrale échoit au sous-directeur et celle de la maison d’arrêt au surveillant-chef. Cette « dualité de direction » prend fin au mois de novembre 1946 et le sous-directeur Rougié se voit enfin confier par le directeur régional la direction de la totalité de l’établissement, ainsi que la charge de le remettre en ordre. Quant aux protagonistes de cette enquête, ils sont tous sévèrement sanctionnés : le surveillant-chef Didelot et le surveillant Durin écopent chacun d’un blâme avec inscription au dossier tandis que les surveillants Vincent, Coudret, Latuner et Daval sont licenciés.