Metoda ma jednak ograniczenia: zwykłe wzory na błędy standardowe i testy zawodzą przy naruszeniu założeń o składniku losowym, dlatego oszacowania uzupełnia się diagnostyką reszt i estymatorami odpornymi. W obliczeniach estymator wyznacza się metodami numerycznie stabilnymi, a nie wprost z jawnego wzoru macierzowego. Metodę najmniejszych kwadratów sformułowano na początku XIX wieku na gruncie astronomii i geodezji. Jej pierwotna, nieważona postać stała się standardową metodą dla liniowych modeli statystycznych.
Zakres i notacja mały|Regresja wielomianowa trzeciego stopnia z pasmem ufności dopasowania: mimo krzywoliniowego wykresu model pozostaje liniowy względem parametrów, więc można go oszacować klasyczną metodą najmniejszych kwadratów KMNK jest metodą estymacji w modelu, w którym przewidywana wartość zmiennej objaśnianej jest liniową kombinacją parametrów. Same zmienne objaśniające mogą przy tym wchodzić do modelu w postaci przekształconej, na przykład jako potęgi, logarytmy lub zmienne zero-jedynkowe, o ile model pozostaje liniowy względem nieznanych parametrów.