Przywrócił kurię i sąd biskupi diecezji podlaskiej. W 1923 zwołał synod diecezjalny do Janowa Podlaskiego, podczas którego ułożono 266 statutów, w których zostało zamknięte całe życie religijne i prawne diecezji podlaskiej.
W 1919 powołał seminarium duchowne w Janowie Podlaskim. W 1923 założył Gimnazjum i Liceum Biskupie Świętej Rodziny w Siedlcach. Jego staraniem utworzono też muzeum diecezjalne.
Biskup siedlecki W 1924, za zgodą papieża wyrażoną w bulli Pro recto et utili, przeniósł stolicę biskupią z Janowa Podlaskiego do Siedlec.
W tym też czasie poświęcił się neounii. W 1923 udał się osobiście do Rzymu i spotkał z papieżem Piusem XI. W 1924 otrzymał instrukcję apostolską Zelum Amplitudinis i stał się jednym z głównych architektów Kościoła katolickiego obrządku bizantyjsko-słowiańskiego w Polsce. Do 1939 na terenie diecezji siedleckiej zorganizował 10 parafii neounickich w: Bublu-Pawłowie, Dokudowie, Holi, Kodniu, Kostomłotach, Połoskach, Szóstce, Terespolu, Zabłociu i w Białej Podlaskiej. W uznaniu zasług biskupa Przeździeckiego papież Pius XI powołał go w 1932 r. na konsultora św.