W zamku Montrésor zgromadził imponujące zbiory malarstwa i rzeźby, a także manuskryptów i pamiątek, związanych zarówno z rodziną jak i z historią Polski. Przyczynił się również do rozwoju gospodarczego Francji jak i na terenie Turenii, gdzie zamieszkał. W 1862 był odznaczony Legią HonorowąBase Léonore du ministère de la Culture [archive].
Życie rodzinne thumb|Mauzoleum rodziny Branickich na cmentarzu w Montrésor Ożenił się w późnym wieku. Miał kilkoro nieślubnych dzieci spośród których uznał syna, Augustyna (ur. 1854), z Sydonią Szumlaóską Revitzką. W 1873 poślubił Pelagię Rembielińską z Zamoyskich – wdowę po Aleksandrze Rembielińskim, matkę dwóch synów (Stanisława i Konstantego Rembielińskich), córkę Konstantego Zamoyskiego i Anieli Sapieżanki. Zmarł w Asjucie w czasie wyprawy do Egiptu (wówczas Kedywat Egiptu w Imperium Osmańskim) w listopadzie 1879 roku. Zwłoki zostały przywiezione do Francji w 1880 r. i pochowane na cmentarzu w Montrésor. Dziedzicem Ksawerego był jego brat, Konstanty