L’île Saint-Joseph accueille un temps les premiers libérés du bagne dont on ne sait que faire. Puis elle est réservée aux opposants politiques à Louis Napoléon Bonaparte. Les condamnés politiques ont défriché et mis l’île en culture, puis ont construit leurs cases et différents bâtiments administratifs. Il n’y avait pas d’hôpital, les malades de Saint-Joseph étaient transportés à l’île Royale. En 1855, les condamnés politiques sont envoyés sur l’île du Diable. Après le décret du 4 décembre 1891, l’île Saint-Joseph devient celle de la réclusion, pour les bagnards incorrigibles dits les “incos”. Dans les cellules individuelles surmontées de grilles le long desquelles passent les gardiens, il est interdit de communiquer et de fumer. Le seul mobilier est un bat-flanc sur lequel on attache le prisonnier pendant la nuit. Le jour, il a le choix entre rester debout ou s’allonger à même le sol : ce n’est qu’en 1936 qu’on installera des tabourets dans les cellules. Sur l’île Saint-Joseph se trouvaient également une tannerie et un four à chaux.

Ses vestiges sont visibles sous le logement actuel du légionnaire en poste sur l’île Saint-Joseph. Il s’agissait de la seule prison sur les îles durant les premières années du bagne, les autres bâtiments d’incarcération étant les dortoirs collectifs.

Le four à chaux a été construit en 1854 et servait à transformer en chaux le gisement de sable coquillier de la plage, ce qui permettait de réduire le coût de construction des bâtiments.

Il n’en reste que quelques parties en blocs de basalte.

Le cimetière de l’île Saint-Joseph était celui du personnel libre. Il se trouve sur la côte nord et était réservé au personnel pénitentiaire affecté aux trois îles (gardiens, médecins, religieuses). Clos de murs, avec un portail principal, il comporte 297 tombes. Les sépultures sont datées entre 1855 et 1932 selon les plaques encore présentes et les documents d'archive.

Construit probablement entre 1860 et 1865 (en projet en 1859, il apparaît sur un plan en 1865), il se compose de deux alignements de cinq cases en maçonnerie entourées d'une enceinte. Deux de ces cases réunies par une muraille étaient consacrées aux aliénés. Les autres étaient des dortoirs pour les condamnés. Des annexes étaient réservées au poste du surveillant de garde et aux cuisines. La charpente métallique et la tôle ondulée datent de 1895.

Des logements pour le commandant et les officiers sont mentionnés sur des plans de 1859 et 1872.

En 1895, l’ancienne prison, au sud-ouest de l’île, est remaniée et transformée en maison pour le chef du camp. Les deux rangées de cellules au niveau inférieur sont semi-enterrées et à l’étage se trouve le logement occupé par le chef de camp.

Aujourd’hui, il s’agit du logement du légionnaire en poste sur l’île Saint-Joseph.

Différentes cases sont mentionnés sur un plan dès 1853 : elles abritaient les surveillants, la chapelle, l’aumônier, des ateliers.

Trois maisons sont construites vers 1900, à droite de l’embarcadère, en front de mer, et servaient à loger des ménages.

Ces bâtiments sont occupés aujourd’hui par la Légion étrangère.

Par le décret du 4 septembre 1891, l’île Saint-Joseph est affectée aux transportés condamnés à la réclusion cellulaire, la classe des incorrigibles. De nouveaux bâtiments sont construits pour pouvoir les accueillir, notamment le camp de la réclusion, construit entre 1896 et 1906 au sommet de l’île, puis agrandi en 1913. Dans ce camp, le silence était obligatoire, ce qui valut à l’île Saint-Joseph son surnom de “l’île du silence”.

Le camp de la réclusion se compose de trois quartiers cellulaires parallèles, un collectif et deux avec cellules individuelles. Dès 1892, la structure métallique de la grande halle est envoyée de métropole ; elle est édifiée en 1896 et constitue la réclusion collective.

Dans les deux quartiers de cellules individuelles, le plafond était constitué de grilles pour que les gardiens surveillent les forçats. Les gardiens se déplaçaient sur des passerelles au milieu des ensembles de cellules. Au dessus, une toiture en tôle ondulée, aujourd’hui disparue, les protégeait du soleil et de la pluie. A l’intérieur des cellules, les forçats n’avaient à disposition qu’un bat-flanc, qu’ils étaient tenus de relever dans la journée. Le tabouret ne fait son apparition qu’en 1936.

Dans le camp de la réclusion, l’enfermement cellulaire avait lieu jour et nuit dans un isolement total et un silence absolu, même pendant la promenade quotidienne. Entre les trois quartiers cellulaires se trouvent deux ensembles de « préaux » ou s’effectuait cette dernière. Ces pièces à ciel ouvert de quatre mètre sur six étaient appelées « préau » en raison du petit abri ou le forçat pouvait s’abriter en cas de pluie.

Les quartiers cellulaires et les ensembles de préaux du camp de la réclusion sont distribués par de longs couloirs à ciel ouvert qui se recoupent à angle droit. Abandonné depuis le milieu du XX^e siècle, le site à petit à petit été envahi par la végétation.

Le camp de la réclusion était accompagné de diverses dépendances : cuisine, poulailler et mess au nord du camp. On y trouvait également des logements pour les surveillants célibataires dans le prolongement des bâtiments de la réclusion, du côté nord, et des logements pour surveillants mariés parallèles aux quartiers cellulaires. Les maisons composant le quartier des surveillants mariés ne sont pas datées précisément.