22 września 1857 poślubił w Krzywczy hr. Gabrielę Sewerynę Aleksandrę Starzeńską herbu Lis (1839-1864, córka oficera wojsk polskich hr. Adama z Krzywczy i Gdyczyny oraz hr. Celiny z Badenich herbu Bończa). Ich jedynym potomkiem był Włodzimierz (1858-1917, doktor praw, także poseł do Sejmu Galicyjskiego i do Rady Państwa, właściciel Zabłociec). Po śmierci żony Zygmunt Kozłowski przez niespełna 30 lat żył we wdowieństwie. Do końca życia zamieszkiwał w domu przy ulicy Brajerowskiej 14 we Lwowie. Zmarł 9 października 1893 we Lwowie, dwa tygodnie po ataku apopleksji. Po obrzędach we lwowskim kościele św. Anny został pochowany w Zabłotcach pod Niżankowicami 14 października 1893. Tam spoczął w podziemiach nowo wybudowanej przez siebie rodzinnej kaplicy grobowej, wzniesionej za dworem na pagórku n. W zorganizowanym w tym mieście pogrzebie brało udział kilkuset uczestników, w tym hr. Kazimierz Badeni, ks. Adam Sapieha, posłowie, właściciele dóbr, przedstawiciele sfer mieszczańskich i urzędniczych oraz ludność wiejska, zaś nabożeństwo żałobne odprawił biskup sufragan Jakub Glazer.