Sformułowanie metody spadku gradientowego jest zazwyczaj przypisywane Augustinowi-Louisowi Cauchy’emu, który jako pierwszy zasugerował ją w 1847 roku. Jacques Hadamard niezależnie zaproponował podobną metodę w 1907 roku. Problem zbieżności metody dla nieliniowych problemów optymalizacyjnych został po raz pierwszy zbadany przez Haskella Curry’ego w 1944 roku, a metoda była coraz intensywniej badana i stosowana w kolejnych dekadach.
Terminologia. Metoda gradientu prostego ze stałym współczynnikiem oraz ze współczynnikiem najszybszego spadku
Termin „gradient prosty” w polskiej literaturze matematycznej oznacza bazowy, klasyczny gradient i odróżnia go od bardziej złożonych metod (np. Newtona czy quasi-Newtona). Nie jest dosłownym tłumaczeniem angielskiego „gradient descent”.
Słowo „prosty” nie odnosi się do łatwości doboru współczynnika kroku w kolejnych iteracjach; w najprostszej wersji metoda używa stałej wartości . W wariantach bardziej zaawansowanych dobiera się w każdej iteracji, aby zwiększyć szybkość i skuteczność znalezienia minimum. W szczególności w metodzie gradientu prostego z maksymalnym spadkiem w każdym kroku (ang.