Model regresji liniowej Niech dany będzie zbiór danych zaobserwowanych Model regresji liniowej zakłada, że istnieje liniowa (afiniczna) relacja pomiędzy zmienną zależną a wektorem regresorów Zależność ta jest modelowana przez uwzględnienie składnika losowego (błędu) który jest zmienną losową. Dokładniej, model ten jest postaci
gdzie oznacza transpozycję, tj. jest iloczynem skalarnym wektorów oraz
Powyższe równań można zapisać w sposób macierzowy:
gdzie:
Najczęściej wykorzystuje się do tego celu klasyczną metodę najmniejszych kwadratów i jej pochodne. Metoda ta jest najstarsza i najłatwiejsza do zastosowania, choć posiada wady (np. niewielką odporność na elementy odstające), które udało się usunąć w innych, mniej rozpropagowanych metodach. Są to odporne metody statystyczne, do których należy regresja medianowa i algorytmy z regularyzacją.
300px |thumb|right |Kwartet Anscombe’a Niedostateczność prostych algorytmów w ogólnym przypadku pokazuje m.in.