Działalność na wygnaniu 3 kwietnia 1767 roku, na rozkaz króla Karola III, został wydany dekret państwowy w Hiszpanii likwidujący zakon jezuitów. Podobne likwidacje nastąpiły kolejno w Portugalii, we Francji i innych krajach. Józef podtrzymywał na duchu innych braci zakonnych, a korzystając z tolerancji księcia Parmy Ferdynanda, prowadził nowicjat jezuicki. W końcu nastąpiło wygnanie jezuitów z kraju, gdyż przymuszony przez mocarstwa papież Klemens XIV podpisał brewe Dominus ac Redemptor noster, rozwiązujące zakon jezuitów i likwidujące domy zakonne w Europie, poza Prusami i Rosją, których władcy nie uznali pisma papieskiego.
Bracia zakonni, którzy nagle stali się świeckimi ludźmi (z wyjątkiem kapłanów), znaleźli schronienie na Korsyce, ale po roku musieli opuścić wyspę, gdy Francja uzyskała wyspy w Republice Genui we wrześniu 1768 roku i tam przewieziono jezuitów. Pignatelli został przeniesiony do Bolonii i przez następne 24 lata pozostawał w kontakcie z rozproszonymi braćmi zakonnymi.
W 1775 papież Pius VI wyraził zgodę na połączenie jezuitów z innych krajów z zakonem w Rosji, a w 1799 zatwierdził otwarcie nowicjatu w Colorno, gdzie Józef został mistrzem nowicjuszy.