Około 1779 roku urodził się ich pierwszy syn, a w 1782 roku drugi.
W 1785 roku opuścił Elimelecha z Leżajska i ogłosił się cadykiem, w związku z czym on i wszyscy jego zwolennicy zostali obłożeni przez Elimelecha klątwą. Mimo klątwy prowadził działalność, zakładając dwór w Łańcucie (gdzie przebywał około 10 lat), następnie przenosząc się do Rozwadowa, a później do Wieniawy. Podczas pobytu w Wieniawie stał się znanym i pożądanym nauczycielem, uzdrowicielem i cudotwórcą. Według przekazów otrzymał jednak od gminy żydowskiej zakaz wstępu do miasta. Najprawdopodobniej w 1794 roku, wykorzystując przychylność nowego rabina miasta, przeprowadził się do Lublina. Tam zakupił część kamienicy przy późniejszej ulicy Szerokiej 28, gdzie wybudował własną synagogę i bet midrasz.
Po 1800 roku zmarła druga żona Horowica, około 1805 roku ożenił się po raz kolejny, z Bejlą ze Lwowa. Według innych źródeł ostatnią żoną Horowica była Szprinca, a według jego aktu zgonu – Małka z Lejbusiowiczów.