Latem roku 1801 pułkownik Graham udał się do Egiptu, gdzie jego 90. pułk, pod dowództwem sir Ralpha Abercromby'ego, znacznie się wyróżniał; nie dotarł tam jednak przed kapitulacją Francuzów i zakończeniem kampanii. Skorzystał jednak z okazji, i zwiedził Egipt oraz Turcję. Jakiś czas spędził w Konstantynopolu, skąd udał się w konną podróż do Wiednia – którą opisywał później, jako jedną z najprzyjemniejszych „przejażdżek konnych” swojego życia.
Rok 1807 Po spędzeniu jakiegoś czasu nadrabiając swoje obowiązki parlamentarne oraz biorąc udział w ulepszaniu stanu swojej posiadłości, pułkownik Graham przeniesiony został wraz ze swoim pułkiem do Irlandii, a następnie do Indii Zachodnich, gdzie pozostał przez następne trzy lata. Kiedy w roku 1807, za popieranie katolickich rządań równego traktowania, zdymisjonowany został „Gabinet Wszystkich Talentów”, pułkownik Graham popierał jego działania. Jednak jego poparcie dla poczynań gabinetu Wigów oraz zrównania praw katolików, nie znalazły aplauzu u wyborców z Perthshire. Po rozwiązaniu Parlamentu w maju 1807 roku Graham nie zdecydował się na reelekcję, i na opróżnione miejsce powrócił lord James Murray.