Najważniejszymi punktami jego programu była rozbudowa kolei, zwiększenie liczby szkół średnich i reformy gospodarcze. Sytuacja ekonomiczna systematycznie się jednak pogarszała. W 1887 premier nie zdołał obronić w wyborach swego mandatu parlamentarnego, co automatycznie oznaczało koniec jego gabinetu.

Stout po raz kolejny powrócił do pracy adwokackiej, a tymczasem jego przyjaciel Ballance założył pierwszą poważną nowozelandzką partię – Partię Liberalną, doszedł z nią do władzy i został premierem. Wkrótce potem Ballance poważnie zachorował i namaścił Stouta na swego następcę. Z myślą o tym były premier powrócił w 1893 do parlamentu, jednak nie zdołał wygrać wyborów na lidera partii, ulegając w nich dawnemu zastępcy BalLance’a, Richardowi Seddonowi. Stout pozostał w parlamencie do 1898, będąc zagorzałym krytykiem przywódcy własnej partii.

W 1899 rozpoczął wypełnianie drugiej ze swych kluczowych życiowych ról – został prezesem Sądu Najwyższego Nowej Zelandii. Był wielkim zwolennikiem resocjalizacji zamiast surowego karania, odegrał też dużą rolę w porządkowaniu nowozelandzkiego porządku prawnego.