Karol rozmieścił swoich ludzi pod Wiedniem, chroniąc ich przed panującą wówczas w mieście epidemią dżumy; w przeciwieństwie do Osmanów, z których wielu zmarło na nią. Jego siły skupiły się na atakowaniu obozów osmańskich i ochronie konwojów z zaopatrzeniem do miasta, podczas gdy papież Innocenty XI zwołał sojusz, by wesprzeć Habsburgów. Siły te, znane jako Liga Święta i dowodzone przez Jana III Sobieskiego, połączyły siły z wojskami Karola, by pokonać oblegającą armię w Bitwa pod Wiedniem 11 września 1683 roku.
W ciągu następnych kilku lat armia Habsburgów pod wodzą Karola odzyskała Węgry, Slawonię i Siedmiogród; jego pierwsze oblężenie Budy w 1684 roku zakończyło się klęską, ale po nim nastąpiły większe zwycięstwa nad Turkami podczas oblężenie Budy w 1686 roku i druga bitwa pod Mohaczem w 1687 roku. W maju 1688 roku zrezygnował ze stanowiska wojskowego na rzecz Maksymiliana II Emanuela, elektora Bawarii. Gdy we wrześniu 1688 roku wybuchła wojna o sukcesję Palatynatu, powrócił, by dowodzić siłami cesarskimi w Nadrenii i 8 września 1689 roku odbił Moguncję z rąk Francuzów, ale zachorował. Początkowo wrócił do swojej rodziny w Innsbrucku, ale potem chciał udać się do Wiednia, by zorganizować kompleksową reformę armii z cesarzem Leopoldem. Zmarł 8 kwietnia 1690 roku w Wels na skutek zatoru płucnego.