Także śmiałe plany reformy służby cywilnej stawiane przez Hainesa w okresie sprzed reformy ustrojowej nie znalazły równej sobie energii w czasie sprawowania przez niego urzędu premiera.
Sekretarz Skarbu Po powrocie do Wiktorii w 1860 Haines pomimo klęski politycznej jako premier był powszechnie uznawanym mężem stanu. Został więc powołany w skład ministerium J. O'Shanassy'ego, obejmując stanowisko sekretarza skarbu. W 1863 reprezentował Wiktorię na wszechaustralijskiej konferencji sekretarzy skarbu, dotyczącej problematyki finansowania kolonii. Ważną kwestią tam poruszoną było opodatkowanie rolników. Haines trwał na stanowisku znacznego rozróżnienia kwot podatkowych należnych squatterom od tych płaconych przez małorolnych pasterzy.
W obszarze finansowania oświaty Haines prowadził spójną politykę z J. O'Shanassy'm. Postulowali oni zgodnie za ograniczeniem roli szkolnictwa powszechnego na rzecz prywatnych i kościelnych instytutów. Polityka ta znalazła odzwierciedlenie w znacznym zredukowaniu budżetu oświaty publicznej. Pomimo ustanowienia w 1862 przez Radę Ustawodawczą parlamentarnej Komisji ds. Edukacji, której przewodniczył R.