Twierdził, że cały świat go nienawidzi.
W 1948 poznał Drahomirę Furmánkovą, która zakochała się w nim bezkrytycznie i mimo przestróg rodziny zdecydowanie niechętnej ślubowi, wyszła za niego za mąż. W 1949 urodził się ich pierwszy syn, Pepík (Józef). Po kilku miesiącach zadowalającego współżycia, stosunki rodzinne uległy pogorszeniu. Josef stał się natarczywy seksualnie, domagając się współżycia codziennie, co czynił m.in. siłą i biciem. Jego nastroje były skrajnie różne, po zastosowaniu przemocy często przepraszał, a nawet rzucał się żonie do nóg. Punktem zwrotnym małżeństwa było odkrycie w 1951 przez Drahomirę, że mąż zataił przed nią, iż jest chory na gruźlicę. Wówczas postanowiła się z nim rozwieść, jednak do tego nie doszło, ponieważ w 1952 urodził się ich drugi syn, Karel i sprawa uległa odłożeniu. Mimo bicia i poniżania Drahomira urodziła jeszcze czwórkę dzieci: Zdenka (1954), Elenę (1955), Ludka (1956) i Libušę (1958). Ojciec traktował je tak samo jak żonę, a jego nienawiść do potomstwa rosła w miarę tego, jak z czasem stawały po stronie matki. Częstokroć bił dzieci bez żadnego powodu. Drahomira starała się je jak najlepiej wychować, mimo nędzy i przemocy. Dzieci czuły związek z matką i bardzo dobrze się uczyły.