Po upadku powstania za udział w konspiracji antyrosyjskiej carska Komisja Rządowa nalegała na wydalenie ks. Piotra Kobylińskiego z Dobrzeca i Kalisza oraz jego degradację. W wyniku nacisków władze kościelne w 1866 nakazały mu bezzwłocznie opuścić probostwo w przygranicznym Dobrzecu, jednocześnie nie przystając na jego prośbę o objęcie probostwa parafii pw. św. Wita w Tuliszkowie, gdzie proboszczem wcześniej był jego stryj ks. Józef Kobyliński. Ks. Piotr Kobyliński został przymusowo przeniesiony do niewielkiego Kliczkowa Małego koło Sieradza, położonego z dala od granicy rosyjsko-pruskiej, gdzie został administratorem parafii pw. św. Jana Nepomucena. W Kliczkowie Małym zajmował się głównie głoszeniem kazań i renowacją kościoła.
W 1882 został mianowany proboszczem parafii św. Apostołów Piotra i Pawła w Kraszewicach koło Wielunia, gdzie doprowadził do pobudowania w latach 1882–1888 nowego neogotyckiego kościoła.
W 1887 został proboszczem parafii św. Marcina i Stanisława Biskupa w Goszczanowie koło Turku i wkrótce opracował jej monografię oraz doprowadził do odnowienia miejscowego kościoła parafialnego. W Goszczanowie świętował 50. rocznicę święceń kapłańskich.