Kiedy lord Hartington odziedziczył w 1892 r. tytuł księcia Devonshire i zasiadł w Izbie Lordów, Goschen nie zgłosił swojej kandydatury na stanowisko lidera Partii Liberalno-Unionistycznej. Stanowisko to otrzymał Joseph Chamberlain. To skłoniło Goschena do opuszczenia szeregów liberalnych unionistów. W 1893 r. wstąpił do Partii Konserwatywnej.
Po powrocie konserwatystów do władzy w 1895 r. Goschen został pierwszym lordem Admiralicji. W 1900 r. zrezygnował ze wszystkich stanowisk. Otrzymał tytuł 1. wicehrabiego Goschen i zasiadł w Izbie Lordów. W 1903 r. został Kanclerzem Uniwersytetu Oksfordzkiego. W latach 1886–1888 był prezesem Królewskiego Towarzystwa Statystycznego.
Goschen opublikował również wiele pamfletów i książek, m.in. The Theory of the Foreign Exchanges, Cultivation of the Imagination, Intellectual Interest oraz The Life and Times of George Joachim Goschen.
Zmarł w 1907 r. Tytuł parowski odziedziczył jego syn George.
Bibliografia