Na wygnaniu mieszkał w klasztorach augustiańskich w Limie, Arequipie i Cuzco, gdzie pełnił posługę duszpasterską wśród Indian. W 1572 bez powodzenia zabiegał o niewykonywanie kary śmierci na ostatnim królu Inków Tupacu Amaru, któremu osobiście udzielił chrztu.
15 kwietnia 1572 złożył królowi rezygnację z biskupstwa. Filip II jednak już 10 lutego 1572 wysłał mu list, nakazujący powrót do Popayánu. Po powrocie do diecezji na skutek intryg encomenderów i ponownej krytyki wykorzystywania Indian, szybko popadł w niełaskę gubernatora. W 1582, wyrokiem sądu w Quito, został aresztowany we własnej katedrze i przewieziony do Quito. W jego mieszkaniu władze przeprowadziły rewizję, podczas której został okradziony, a łup oddano świadkom oskarżenia. W odpowiedzi bp Gormaz Velasco ekskomunikował gubernatora. W Quito biskup żył w skrajnym ubóstwie. W 1583 biskupi zgromadzeni na synodzie prowincjonalnym w Quito, napisali list do króla Filipa II, w którym poinformowali monarchę o prześladowaniach biskupów ze strony władz świeckich, ze szczególnym uwzględnieniem sprawy biskupa popayáńskiego.