W 1966 roku postanowił kandydować do Izby Reprezentantów, ale zmienił zdanie i został kandydatem na gubernatora Georgii z ramienia Partii Demokratycznej. Pomimo intensywnie prowadzonej kampanii wyborczej, przegrał wybory na rzecz Lestera Maddoxa. Przez cztery kolejne lata przygotowywał się do kolejnej kampanii wyborczej, którą zwieńczył sukcesem i zwycięstwem w wyborach. Gubernatorem był w latach 1971–1975 i w tym czasie walczył z dyskryminacją rasową, m.in. poprzez mianowanie Afroamerykanów na wysokie stanowiska stanowej władzy wykonawczej. Ponadto usprawnił działanie systemu sprawiedliwości, wprowadził nowe zasady polityki ekonomicznej i zreorganizował władze stanowe. Pomimo skutecznej działalności gubernatorskiej, nie był zbyt popularny. Pod koniec 1974 roku oznajmił, że nie będzie ubiegać się o reelekcję, gdyż chce wystartować w wyborach prezydenckich w 1976 roku. Ponieważ nikt nie uważał, by Carter miał realne szanse na zwycięstwo, nazywano go wówczas „Jimmy Kto?” (Jimmy Who?).