Z końcem lat 50. XX wieku Josef stracił całkowicie panowanie nad własnymi emocjami. Cała wieś odwróciła się od niego. Przeprowadzał się więc kilkakrotnie wraz z rodziną, ponieważ w każdej kolejnej wsi z czasem był znienawidzony. Z czasem zaczął używać przemocy seksualnej w stosunku do młodych kobiet i w 1960 skazano go na dwa lata więzienia za gwałt. Po powrocie do domu stał się jeszcze bardziej niebezpieczny. W 1965 tak pobił małżonkę, że trafiła ona na oddział chirurgiczny jesionickiego szpitala. W 1966 za gwałt na siostrze żony, Vladěnie Furmánkovej został znów skazany na rok więzienia. W tym czasie rodzina mieszkała w Jesioniku-Bukovicach, pod numerem 34, a Josef pracował jako traktorzysta w lokalnym zakładzie drzewnym. Narósł wówczas poważny konflikt z najstarszym synem, który miał już dość sił, by mu się przeciwstawiać.
W tym samym roku Drahomira złożyła w miejscowym sądzie pozew o rozwód i wyprowadziła się do rodziców zamieszkałych we wsi Dolní Les, położonej niedaleko polskiej granicy. Sprawa rozwodowa miała się odbyć w Jesioniku 28 lutego 1967.