W roku 1753 został kanclerzem (Staatskanzler – austriackim MSZ). Poprzednio urząd ten sprawował Johann Christoph von Bartenstein, zaufany człowiek Marii Teresy. Kaunitz, którego energię dostrzegła cesarzowa, spowodował ograniczenie władzy Bartensteina jedynie do spraw polityki finansowej i ekonomicznej, po pewnym czasie sam przejął wszystkie sprawy. Najwyższy urząd w państwie Kaunitz sprawował aż do śmierci cesarza Leopolda II w 1792 roku. Jako kanclerz zreformował i zmodernizował państwo Habsburgów.
W 1760 roku z jego inicjatywy powołano do życia Radę Stanu (Staatsrat) jako organ doradczy monarchy, kontrolujący wszystkie władze w państwie.
W 1736 roku poślubił Marię Ernestynę von Starhemberg (1717–1749). Para miała siedmioro dzieci, w tym: Ernst Christoph von Kaunitz-Rietberg (1737–1797) Dominik Andreas von Kaunitz-Rietberg-Questenberg (1739–1812) Franz Wenzel von Kaunitz-Rietberg (1742–1825) Joseph Clemens von Kaunitz-Rietberg (1743–1785) Maria Antonia von Kaunitz-Rietberg (1745–?)