Le centre de jeunes détenus de Fleury-Mérogis n’est pas aménagé comme la maison d’arrêt des hommes car « la catégorie pénale des jeunes délinquants est certainement la plus récupérable et mérite, en conséquence, de faire l’objet de la part de l’administration pénitentiaire d’un traitement différencié. » Comme pour la maison d’arrêt des hommes, la conception de ce centre s’inspire étroitement de la maison d’arrêt de Bordeaux-Gradignan, dessinée également par l’architecte Guillaume Gillet. Prudente, l’administration pénitentiaire a conditionné la construction du futur centre de jeunes détenus de Fleury-Mérogis à l’ouverture de celui de la nouvelle maison d’arrêt de Bordeaux-Gradignan. Ce modèle architectural en tripale est tellement révolutionnaire que le chef du bureau de la détention de la direction de l’administration pénitentiaire préfère effectivement attendre les premiers résultats de l’ouverture de Bordeaux-Gradignan avant d’étendre ce modèle à d’autres établissements.

Le centre de jeunes détenus de Bordeaux-Gradignan ouvre le 4 avril 1968, après que les mineurs aient patienté durant un an dans la nouvelle maison d’arrêt des hommes inaugurée le 12 juin 1967. Son ouverture ayant été jugée réussie, la construction du centre de jeunes détenus de Fleury-Mérogis peut donc être entreprise. Celui-ci entre en service le 26 mars 1973, en même temps que la maison d’arrêt des femmes. Cinquante mineurs (sur les 450 prévus) issus de la maison d’arrêt de Fresnes y sont acheminés le 9 mai 1958. Le centre de jeunes détenus est néanmoins réservé exclusivement aux garçons et les mineures sont incarcérées à la maison d’arrêt des femmes de Fleury-Mérogis, ce qui permet la fermeture de la prison de la Roquette et du quartier de la maison d’arrêt de Fresnes où elles étaient hébergées jusque-là.

Situé à environ 150 mètres de la maison d’arrêt des hommes, le centre comprend une seule tripale entourée d’une enceinte et offre une capacité d’accueil de 540 cellules. Une fois passée le sas d’entrée du bâtiment administratif qui renferme, entre autres, le greffe et les parloirs, la tripale de détention permet d’accéder à trois ailes. Le rez-de-chaussée de l’aile C comprend sept salles de classe et des ateliers, l’aile A comprend 20 cellules et un bloc d’examen médical et l’aile B comprend la cuisine et la lingerie. Les deuxième, troisième et quatrième étage donnent accès aux cellules qui sont desservies depuis un hall central de surveillance. L’enceinte est constituée d’ateliers, de salles de loisirs, de blocs sanitaires et d’un gymnase. L’architecture est donc une copie à moindre échelle de la maison d’arrêt des hommes. Néanmoins, si l’ouverture du centre permet le transfert des jeunes détenus de la maison d’arrêt des hommes, les « récidivistes » et ceux accusés d’affaires graves continuent d’être incarcérés à la tripale D2.

La configuration architecturale de l’établissement entraîne rapidement de nombreuses difficultés. Du mois de mai 1968 au mois d’avril 1975, près de 18 détenus se suicident. Certes, ces suicides concernent l’ensemble de la détention et non le seul centre de jeunes détenus. Mais ils permettent de saisir le reproche de déshumanisation opposé à la maison d’arrêt de Fleury-Mérogis dont l’automatisation, si elle permet d’employer moins de personnel que dans une détention classique, entraîne en retour un sentiment anxiogène du fait de la diminution des contacts humains entre détenus et surveillants. Dans cet « univers aride et bétonné qu’est Fleury-Mérogis », le personnel d’encadrement connaît effectivement des problèmes de sous-effectif et semble peu motivé, comme en témoigne un rapport du directeur régional des services pénitentiaires de Paris. En ce qui concerne l’équipe d’éducateurs, il indique : « Se sont manifestés dès mon arrivée en protestant contre les conditions de travail qui leur sont imposés. Groupe peu intéressant qui cherche par tous les moyens à ne pas travailler en détention. Malgré mes contacts, mes conseils, l’amélioration ne se produit pas. » Les surveillants sont mal encadrés par des chefs et des premiers surveillants affectés à leurs postes en raison de leur « incapacité en détention » et qui s’avèrent particulièrement « médiocres ». Ces surveillants sont de surcroît jeunes et inexpérimentés. Il en manque entre 30 et 50 et la plupart souhaitent essentiellement obtenir une mutation vers leur région d’origine.

La mort suspecte du jeune détenu Patrick Mirval, survenue le 22 février 1974 durant son transfert au quartier disciplinaire, met également en lumière le climat de violence qui règne au sein de la détention. Son décès aurait été provoqué, d’après un codétenu cité par la presse, du fait qu’il aurait été « tenu par le cou pendant toute la durée du trajet par un surveillant qui, assis derrière lui, appuyait du genou sur son dos. » Bien qu’une autopsie révèle « de très nombreuses ecchymoses de la plèvre et de très nombreuses lésions traumatiques au niveau de la hanche, des bras, du cou et du crâne dont un hématome de 5 centimètres de diamètres et 5 centimètres d'épaisseur », « l’affaire Mirval » aboutit à une ordonnance de non-lieu prononcée par la chambre d’accusation de Paris le 23 novembre 1977. S’ils ne sont pas aussi graves que ce drame, de nombreux incidents émaillent le quotidien de la détention. Ces évènements sont attisés par les vastes dimensions de l’établissement et le manque chronique d’agents d’encadrement (tant surveillants qu’éducateurs) qui rendent sa gestion difficile. Notamment du fait de l’arrivée au début des années 1970 de jeunes détenus maoïstes qui sont éduqués, très organisés et disposés à tenir tête aux surveillants. Ces contestations s’inscrivent dans le droit fil du mouvement de révoltes carcérales qui secoue de nombreux établissements pénitentiaires à la même époque. Pour le directeur de l’établissement, ces mutineries sont essentiellement dues à la configuration du centre de jeunes détenus et aux difficultés que rencontre son personnel en sous-effectif pour y encadrer une population pénale jeune.

À partir des années 1980, les mouvements collectifs se raréfient du fait d’un effectif d’encadrement mieux fourni. Mais l’établissement vieillit mal. En 1998, 45 cellules sont fermées pour insalubrité. Les murs extérieurs en béton sont très dégradés du fait de la rouille des fers ayant servi au coulage. Des blocs de plusieurs dizaines de kilos se détachent et menacent de s’effondrer. Les cellules sont très humides, les installations électriques sont inutilisables ou non conformes aux règles de sécurité, des ascenseurs ne fonctionnent plus et il faut procéder à des chantiers de désamiantage. Les douches sont dans un état « déplorable et […] la structure est propice à la commission d’actes de violence et d’agressions sexuelles entre jeunes détenus. » Le personnel est désabusé et la violence entre jeunes détenus est endémique. Nombre d’entre eux sont « terrorisés » et se replient sur eux-mêmes, refusant de se rendre à l’école, aux ateliers, en formation, dans leurs cours de promenade et parfois même aux parloirs, comme le dénonce des médecins et des enseignants dans un texte-manifeste. En parallèle, les résultats d’une mission interministérielle sur la prévention et le traitement des mineurs instituée en 1998 accablent le fonctionnement du centre. Les rapporteurs, Christine Lazerges et Jean-Pierre Balduyck, dénoncent le gigantisme de cette structure qui s’avère particulièrement inadaptée à la prise en charge des mineurs.

Les rapporteurs préconisent désormais en matière de détention des jeunes détenus de prendre l’exact contrepied de Fleury-Mérogis et de refondre la carte pénitentiaire des établissements habilités à recevoir des mineurs en installant dans chaque maison d’arrêt des petits quartiers de 20 à 25 places réservés aux mineurs et aux jeunes majeurs ayant commencé l’exécution de leur peine durant leur minorité. Ils préconisent également la fermeture du centre de jeunes détenus de Fleury-Mérogis et sa transformation en un établissement réservé aux jeunes majeurs de 18 à 21 ans basé sur la resocialisation en application du décret du 23 mai 1975 modifiant certaines dispositions du Code de procédure pénale. C’est-à-dire de le transformer en un centre de détention. Ces préconisations sont reprises par un conseil de sécurité intérieure sur la délinquance des mineurs réuni le 2 juin 1998. Le premier ministre, Lionel Jospin, demande l’aménagement de quartiers pour les mineurs et les jeunes majeurs de 20 à 25 places, le réexamen de la carte pénitentiaire et le renforcement de l’encadrement médico-éducatif des mineurs incarcérés.
Ces orientations sont mises en œuvre par la circulaire interministérielle du 6 novembre 1998 relative à la délinquance des mineurs. Celle-ci met un terme aux centres de jeunes détenus et les remplace par des quartiers mineurs de 15 à 20 places. La carte pénitentiaire des établissements habilités à recevoir des mineurs est donc réexaminée à l’aune de ces nouvelles orientations et la circulaire du 26 octobre 2001 fixe à 59 le nombre d’établissements pénitentiaires habilités à héberger des mineurs. L’objectif étant d’augmenter le nombre de places pour permettre un encellulement individuel conformément à l’article D. 516 du Code de procédure pénale et de faciliter le maintien des liens familiaux en liaison avec les services de la protection judiciaire de la jeunesse.

L’organisation du centre de jeunes détenus de Fleury-Mérogis est affectée par cette réforme qui entraîne en 1999 une réduction du nombre de détenus mineurs et la transformation du centre de jeunes détenus en un quartier des mineurs. Une centaine de détenus adultes, sélectionnés du fait de leur condamnation à de courtes peines d’emprisonnement, sont transférés au centre. Le nombre des détenus de 18 à 21 ans est limité à une centaine et tous les autres sont affectés à la maison d’arrêt des hommes. Enfin, un quartier des mineurs est aménagé pour accueillir des jeunes détenus de moins de 18 ans. Il comprend six unités pouvant contenir chacune 15 à 20 individus. Si cette nouvelle organisation permet de réduire les violences, Léonore Le Caisne, qui y conduit une enquête ethnographique en 2004, indique toutefois qu’aucun « projet éducatif n’est pensé pour ces adolescents », que les formations professionnelles n’existent pas et que le personnel d’encadrement y est toujours en sous-effectif. Elle conclut que l’absence de projet éducatif et le court passage de ces adolescents au centre de jeunes détenus de Fleury-Mérogis contribuent ainsi, pour beaucoup d’entre eux, à la normalisation de leur acte et à la banalisation de leur expérience carcérale.

Le 8 juillet 1999, la garde des Sceaux Elisabeth Guigou annonce que les maisons d’arrêt de Loos-lez-Lille, Fleury-Mérogis, Paris la Santé, Fresnes et les Baumettes sont l’objet d’un vaste programme de rénovation. Il débute en 2002 et s’achève en 2015 à la maison d’arrêt des hommes de Fleury-Mérogis où les cinq tripales sont intégralement rénovées. Puis le plan immobilier pénitentiaire de 15 000 places prévoit la réhabilitation du centre de jeunes détenus en un quartier centre de détention de 460 places réservé aux détenus majeurs. Les mineurs détenus quittent donc le site en 2016 pour rejoindre le troisième étage de la tripale D4 de la maison d’arrêt des hommes de Fleury-Mérogis. Le centre de jeunes détenus est ensuite reconverti en quartier centre de détention en 2023.