Dreyfus est aussi devenu malgré lui le symbole de l’innocent envoyé au bagne par erreur, auquel beaucoup de bagnards s’identifieront.
Parmi les transportés les plus célèbres, Henri Charrière dit « Papillon » décrit avec force de détails que, lors de son séjour sur l’île du Diable (que l’on sait réel même si les détails en sont largement déformés), il a longuement pensé à Dreyfus en contemplant la mer, assis sur « son » banc. « Ce banc où Dreyfus, condamné innocent, a trouvé le courage de vivre, quand même, doit me servir à quelque chose. Ne pas m’avouer vaincu. Tenter une autre cavale. Oui, cette pierre polie, lisse, surplombant cet abîme de rochers, où les vagues frappent rageusement sans arrêt, doit être pour moi un soutien et un exemple. Dreyfus ne s’est jamais laissé abattre et toujours, jusqu’au bout, il a lutté pour sa réhabilitation. C’est vrai, qu’il a eu Zola avec son fameux « J’accuse » pour le défendre. Toutefois, s’il n’avait été un homme bien trempé, devant tant d’injustice il se serait certainement jeté dans le gouffre, de ce même banc. Il a tenu le coup. Je ne dois pas être moins que lui […] ». Ce banc, encore connu aujourd’hui comme le « banc de Dreyfus », est situé à la pointe nord de l’île du Diable, c’est-à-dire bien au-delà des limites assignées à Dreyfus par l’administration pénitentiaire… et il n’a donc jamais dû s’y asseoir. Dreyfus s’est ainsi inscrit dans les pierres même de l’île, dans les légendes et les fantasmes des bagnards.