W 1892 roku poświęcił wybudowany przez narodowego księdza Dominika Kolasińskiego kościół parafialny Najsłodszego Serca Panny Maryi w Detroit. Później współpracował z narodowym księdzem Franciszkiem Kołaszewskim z Cleveland. Poświęcił polskokatolicki kościół parafialny Niepokalanego Serca Maryi w Cleveland oraz uczynił Franciszka Kołaszewskiego swoim wikariuszem generalnym. Udzielił też święceń kapłańskich kilku duchownym (m.in. w 1894 roku Stefanowi Kamińskiemu, którego w 1898 roku konsekrował na biskupa).
W 1898 roku Vilatte uczynił swoim wikariuszem generalnym jednego z wyświęconych przez siebie księży, François Minguya i wyjechał do Wielkiej Brytanii. Tam przez pewien czas przebywał w niezależnej wspólnocie benedyktyńskiej, Josepha Leycestera Lyne’a. Po opuszczeniu Anglii udał się do Włoch. Prowadził tam rozmowy z biskupami katolickimi w kwestii pojednania. Odwiedził też Francję i wspólnotę starokatolicką w Piacenzy, której przewodził ksiądz Paulo Miraglia-Gulotti. W 1900 roku Joseph Vilatte konsekrował Gulottiego na biskupa Kościoła Starokatolickiego we Włoszech.