W 1895 roku własnym nakładem pracy i środków założył w należącej do parafii wsi Wola Lubecka szkołę ludową i ochronkę, których prowadzenie powierzył sprowadzonym z Krakowa siostrom duchaczkom. W tym samym czasie uczestniczył w organizacji w Lubczy Kółka Rolniczego oraz założeniu mleczarni. Także w latach 90. XIX wieku rozpoczął budowę nowego, murowanego kościoła, według projektu tarnowskiego architekta Adolfa Juliusza Stapfa (według części źródeł Jana Sas-Zubrzyckiego). Konsekracja odbyła się 6 czerwca 1902 roku. W uznaniu zasług dla kościoła diecezjalnego został wyróżniony przywilejem noszenia rokiety i mantoletu. W latach 1904–1908 był członkiem Rady Diecezjalnej.
Józef Lenartowicz był również kompozytorem, twórcą pieśni religijnych oraz Mszy Żałobnej (Opus 1), która ukazała się drukiem w 1901 roku. Założył w parafii Towarzystwo Śpiewacze Świętej Cecylii, prowadził chór, był dekanalnym inspektorem w sprawach śpiewu kościelnego. Prowadził amatorską scenę teatralną, dla której napisał szereg utworów dramatycznych. Publikował w "Posłańcu Serca Jezusowego”. Zajmował się rzeźbą, był między innymi autorem płaskorzeźb Drogi Krzyżowej dla kościoła parafialnego a wspólnie z ojcem ołtarza św. Walentego.