Alors que les touristes affluaient à Philadelphie dans les années 1830 et 1840 afin d'admirer ce miracle architectural, une controverse se mit à enfler, qui mettait en cause l'efficacité du système d'isolement et la compassion réelle qu'il incarnait. Est-ce qu'il n'était pas cruel d'enfermer ces hommes et ces femmes sans qu'ils aient jamais de visites, sans qu'ils puissent avoir accès à des livres ni à des lettres envoyées par leurs proches, sans qu'ils aient jamais aucun contact avec l'extérieur ? Les avis variaient.

Quand Alexis de Tocqueville visita Eastern State en 1831 avec Gustave de Beaumont, les deux hommes écrivirent dans leur rapport au gouvernement français :

Jeté dans la solitude, [le prisonnier] réfléchit. Laissé seul à l'examen de son forfait, il apprend à le haïr ; et si son âme n'est toujours pas saturée par le crime qu'il a commis, si elle n'en a pas perdu le goût au profit de quoi que ce soit de meilleur, c'est dans la solitude qu'un tel changement s'opérera, quand le remords viendra l'assaillir.... Peut-il exister combinatoire plus puissante que celle de la prison qui livre le prisonnier à toutes les épreuves de la solitude, qui l'amène au remords par la réflexion, à l'espoir par la religion, et qui le rend industrieux grâce au fardeau de l'oisiveté ?¹

Mais Charles Dickens était en désaccord avec un tel point de vue. Il décrit la visite qu'il effectua en 1842 au pénitencier d'Eastern State dans le Chapitre 7 de son journal de voyage, American Notes for General Circulation. Le chapitre s'intitule « Philadelphie et le système d'isolement de sa Prison » :

Si je suis bien persuadé que, dans ses intentions, ce système est bon, humain et qu'il cherche à réformer le prisonnier, je suis convaincu, en revanche, que ceux qui ont conçu ce système de discipline carcérale et que ces hommes bienveillants qui le mettent en application ne savent pas ce qu'ils font […]. Je pense que cette altération lente et quotidienne du fonctionnement mystérieux du cerveau est pire que n'importe quelle torture physique et que les conséquences en sont incommensurables ; et parce que ces manifestations n'en sont guère visibles à l'oeil nu et qu'elles arrachent peu de cris qu'une oreille humaine puisse percevoir, je dénonce ce système avec d'autant plus de virulence qu'il me semble être une punition cachée par laquelle l'humanité en sommeil n'est nullement invitée à se réveiller durablement.¹

Ce sont finalement les critiques qui l'emportèrent et le système de Pennsylvanie fut abandonné en 1913.

Les ajouts successifs dont Eastern State fut l'objet illustre les tentatives de compromis dès lors que ce mouvement intellectuel généreux mais malheureux vint heurter de plein fouet la réalité du fonctionnement de la prison moderne. Warden Michael Cassidy compléta le pénitencier de plusieurs bâtiments cellulaires dans les années 1870 et 1890.¹ On y retrouvait les voûtes en berceaux, les puits de lumière, les portes passe-plats et l'automatisation des commodités. Des miroirs permettaient une surveillance ininterrompue des nouveaux bâtiments depuis l'observatoire central. Mais il n'y avait plus de cours attenantes aux cellules. Les détenus devaient porter des sortes de cagoules qui ne laissaient voir que les yeux si bien qu'ils pratiquaient leurs activités physiques ensemble, en silence, sans se connaître.

On ne peut pas dire que le système d'isolement d'Eastern State se soit effondré du jour au lendemain : il s'est plutôt érodé au fil du temps. Mais, en 1905, soit huit ans avant que ne soit mis un terme officiel à ce fonctionnement, on y ajouta encore un atelier collectif, surnommé le « Bâtiment industriel ».

En 1929, l'administration du pénitencier réalisa un film muet à l'occasion du centenaire de l'institution. Mis à part quelques allusions à la longévité de l'institution, le film ne s'intéressait pas tant à son histoire qu'aux améliorations qui lui avaient été récemment apportées. Il mettait donc en valeur les nouveautés : des ateliers de tissage ressemblant à des usines, la boulangerie et les cuisines modernes, où des dizaines de détenus s'activaient jour et nuit, ainsi que les nouvelles tours de garde équipées de projecteurs et de sirènes. Mais, durant tout le film, on voit les détenus évoluer dans ce qui reste de l'ancien système de Pennsylvanie. Les cellules, qui abritaient désormais deux ou trois hommes, avaient conservé leurs voûtes en berceaux, leur puits de lumière ainsi qu'une étrange porte complètement fermée sur le mur du fond. Les ateliers et les salles de cantines faisaient 3 m de large et des centaines de mètres de long, traces des anciennes cours d'exercice auxquelles on avait retiré les murs et ajouté des plafonds.

Toutefois, d'autres bâtiments cellulaires y furent encore construits tout au long du XX^e siècle. Le béton armé remplaça la pierre. Les nouvelles cellules étaient plus petites, carrées et éclairées par des fenêtres classiques mais les halls conservaient les coursives et les puits de lumière qui caractérisaient les premiers bâtiments du pénitencier. Cependant, les nouveaux bâtiments n'étaient pas visibles depuis l'observatoire. Enfin, des cellules construites en sous-sol, sans fenêtre, sans électricité ni eau marquèrent le retour de l'isolement à Eastern State, non plus à des fins de rédemption mais bien en guise de châtiment.

C'est en 1956 que fut apporté le dernier ajout notable au pénitencier d'Eastern State, avec la construction du bâtiment 15, dit aussi « couloir de la mort ». Ce bâtiment moderne consacra l'abandon effectif du vocabulaire architectural qui avait marqué les origines du projet. Un système d'incarcération totalement automatisé séparait désormais complètement les détenus des gardiens, et ce 24 heures sur 24. Dans l'enceinte d'un pénitencier qui avait d'abord été conçu suivant l'idée que tout individu est capable de se racheter, les prisonniers attendaient maintenant d'être exécutés.

Dans les années 1960, la prison était particulièrement vétuste et nécessitait des réparations coûteuses. Le Commonwealth décréta la fermeture des lieux en 1970 et, après une année de fonctionnement partiellement pris en charge par la ville de Philadelphie, le pénitencier fut officiellement fermé, 142 ans après l'admission de son premier détenu. En 1988, alors que le site se dégradait de plus en plus du fait qu'il demeurait inoccupé, et alors que plusieurs propositions de reprise des lieux n'avaient pas été jugées recevables, le Comité de réflexion du pénitencier interpella avec succès le maire, Wilson Goode, en lui demandant de mettre un terme aux appels à projets de reconversion du site. La Société de la Prison de Pennsylvanie ouvrit le pénitencier pour une première saison de visites guidées en 1994, et, en 1997, elle signa un accord avec la ville qui put ainsi gérer le site sur une période de 20 ans. Depuis 2001, c'est un nouvel organisme à but non-lucratif, le Site historique du Pénitencier d'Eastern State, qui a pris la suite du partenariat.