2 maja 1941 zaaprobował nominację mjr. Mieczysława Słowikowskiego na szefa Agencji Afryka w Algierze. Utrzymywał kontakty z gen. Henrim Giraudem, reprezentującym propétainowskie skrzydło Francuskiego Komitetu Wyzwolenia Narodowego faworyzowane przez Amerykanów. We wrześniu 1942 odwiedził Londyn. Pełnił funkcję tłumacza generalnego przy GTE do listopada 1942, kiedy zastąpił go płk Józef Jaklicz. W kwietniu 1943 zagrożony aresztowaniem Kleeberg opuścił Francję i udał się do Włoch. Od stycznia do grudnia 1944 piastował stanowisko przedstawiciela Rządu Stanisława Mikołajczyka do Spraw Opieki Nad Uchodźcami we Włoszech, a potem był szefem Wojskowej Delegacji Rzeczypospolitej przy Sztabie Wojsk Sprzymierzonych. Od grudnia 1944 w dyspozycji Ministra Obrony Narodowej.
Po demobilizacji Polskich Sił Zbrojnych na Zachodzie w 1948 prowadził z żoną farmę w Wielkiej Brytanii, a w 1952 osiadł w Australii, gdzie mieszkał już jego syn, podoficer polskiego lotnictwa. Prowadził sklep w Sydney. W 1956 przyjął obywatelstwo australijskie. Był prezesem Rady Naczelnej Polonii Australijskiej 1954–1958 i ponownie po Andrzeju Racięskim 1960–1970.