W czasie budowy kościoła powstała też drewniana ośmioboczna dzwonnica. Ma 9,5 m wysokości. Stoi w południowej części cmentarza kościelnego. Historycy sztuki określają jej styl jako ludowy. Zbudowano ją w konstrukcji słupowej na niskiej podmurówce z betonu. Jest oszalowana deskami (do około 2 m poziomo, wyżej pionowo). Dach dzwonnicy jest namiotowy, ośmiopołaciowy. Do dzwonnicy prowadzą drewniane jednoskrzydłowe drzwi. W otworach okiennych zamieszczono drewniane żaluzje. Na szczycie dachu zamontowano metalowy krzyż. Na dzwonnicy z Olszewki wzorowana jest zbudowana w 1929 dzwonnica w Jednorożcu. W 1980 przeprowadzono remont olszewskiej dzwonnicy (malowanie, poprawa szalunku i podwalin). Na początku XXI wieku dzwonnicę, podobnie jak kościół, obłożono sidingiem, który zdjęto w 2017. mały|Plebania W 1937 dzięki działaniom proboszcza z Parciak ks. Juliana Przygódzkiego w Olszewce zaczęła się budowa plebanii. II wojna światowa przerwała realizację projektu;