W kwietniu 1948 roku naczelnik więzienia przy ul. Rakowieckiej w Warszawie zwrócił się do proboszcza Wyrębowskiego, aby wyznaczył na nowym cmentarzu na Służewie aleję do pochówków więźniów. Ksiądz nie godził się na chowanie więźniów bez aktów zgonów. Był za to wielokrotnie zastraszany i szykanowany. W tym samym czasie tuż za murem cmentarnym funkcjonariusze wykopali dół o rozmiarach kilkudziesięciu metrów kwadratowych, do którego wrzucano zamordowanych więźniów przysypując ich ciała wapnem.
W ostatnich latach życia ciężko chorował i wielokrotnie przebywał w szpitalu. Był również nękany przez osoby, które domagały się, aby opuścił parafię. W 1950 przybył do parafii służewskiej jako wikariusz adiutor ks. kanonik Antoni Czarnecki, który po śmierci ks. Wyrębowskiego, został proboszczem.
W dniu 5 lutego 1952 zmarł w szpitalu sióstr Elżbietanek na Mokotowie i zgodnie z jego wolą, nie został pochowany na starym cmentarzu na Służewie tylko w grobie ze swoim ojcem na Powązkach (kwatera 55-4-30). A w 2013 został ekshumowany i pochowany wraz z kilkoma innymi proboszczami służewskimi w podziemiach kościoła św.