W latach 1882–1883 miała miejsce niezwykle dramatyczna walka o władzę między nim a Robertem Stoutem. Najpierw Atkinson sformował gabinet, który przetrwał 11 miesięcy. Następnie Stout przeforsował wotum nieufności dla niego i zajął jego miejsce. W odpowiedzi Atkinson obalił rząd Stouta po zaledwie 12 dniach. Trzeci gabinet Atkinsona przetrwał jeszcze krócej - Stout pozbawił go władzy już po tygodniu. Kryzys ostatecznie zakończył się klęską Atkinsona - drugi rząd Stouta przetrwał trzy lata - jak na ówczesne nowozelandzkie warunki, bardzo długo.
Po wyborach z 1887 w nowozelandzkim parlamencie zapanowała dezorientacja, bowiem czołowi politycy z poprzednich kadencji bardzo źle wypadli w oczach wyborców (wielu w ogóle straciło mandaty) i nie było widać nikogo, kto mógłby sformować gabinet. Po dwóch tygodniach negocjacji, udało się uzgodnić skład tymczasowego w założeniu rządu, na którego czele stanął Atkinson. Był to czas potężnej recesji, którą premier próbował zwalczać takimi posunięciami jak cięcia wydatków budżetowych, podnoszenie ceł i zwiększanie deficytu.