Cesarz udzielił mu dymisji (28 listopada 1897) po zamieszkach ludności robotniczej Wiednia wywołanych usunięciem przy pomocy sił policyjnych niemieckich posłów opozycji (zgodnie z obowiązującym: „lex Falkenhayn”). Zamieszki te zorganizowane były przez nacjonalistów niemieckich pod przywództwem Georga Schönerera, którzy otwarcie zmierzali do połączenia Austro-Węgier z Cesarstwem Niemieckim.
Słynął ze zwięzłości wypowiedzi, co wpływowa wiedeńska gazeta Neue Freie Presse uznała za dobrą stronę jego słabej znajomości języka niemieckiego.
Był żonaty z Marią Marianną Apolonią Skrzyńską herbu Zaremba (1850–1937). Ich dziećmi byli Ludwik (1873–1916) oraz Maria (1874–1950), żona Adama Krasińskiego IV ordynata na Opinogórze od 1897, a po jego śmierci od 1912 hr. Zygmunta Zamoyskiego (1875–1931).
Kazimierz Badeni zmarł w pociągu, wracając z kuracji w Karlowych Warach, gdzie leczył się na cukrzycę. Po południu 9 lipca 1909 znaleziono go nieżyjącego w pociągu pośpiesznym na stacji Krasne, blisko rodzinnego majątku w Busku.