Wśród znanych więźniów zamku był Mirabeau, uwięziony za niepłacenie długów, Jean Chataud, podejrzewany o sprowokowanie epidemii w Marsylii na początku XVIII wieku oraz markiz de Sade.
Hrabia Monte Christo Międzynarodową sławę zamek zdobył dzięki powieści Hrabia Monte Christo, której główny bohater, jeszcze pod prawdziwym nazwiskiem Edmunda Dantèsa, trafił do więzienia w nim położonego za czasów pierwszej Restauracji za sprawą fałszywego donosu oskarżającego go o bonapartyzm. Pobyt w zamku d’If był kluczowy dla jego psychologicznej przemiany – to tam, dzięki spotkaniu z innym więźniem, księdzem Farią, zdobył gruntowną wiedzę o świecie i zrozumiał, komu zależało na jego zniknięciu. W powieści Dantès w brawurowy sposób ucieka z więzienia, ukrywając się w worku, do którego strażnicy włożyli wcześniej ciało zmarłego Farii, a następnie wyrzucony w fale morza, odpływając w stronę wyspy Tiboulen. W rzeczywistości w historii więzienia d’If nie miała miejsca żadna udana ucieczka z zamku, zaś autentyczny pierwowzór hrabiego, Pierre Picaud, uciekł z więzienia w Fenestrelle.. Nie przeszkadza to dzisiejszym gospodarzom d’If przedstawiać zrekonstruowanych „cel Dantèsa i Farii”.