Dzięki temu metoda obejmuje zarówno prostą regresję z jedną zmienną objaśniającą, jak i regresję wieloraką z wieloma regresorami, a także regresję wielomianową, w której kolejne potęgi jednej zmiennej wchodzą do modelu jako osobne regresory.
Niech dane obejmują obserwacji. Dla obserwacji model liniowy zapisuje się jako:
gdzie jest zmienną objaśnianą, wektorem zmiennych objaśniających, wektorem nieznanych parametrów, a składnikiem losowym. W zapisie macierzowym model ma postać:
Macierz nazywa się macierzą układu lub macierzą regresorów. Jeżeli model zawiera wyraz wolny, jedna z kolumn tej macierzy składa się z jedynek. Warunkiem jednoznacznego wyznaczenia klasycznego estymatora jest pełna ranga kolumnowa macierzy czyli brak doskonałej liniowej zależności między regresorami.
Estymator Dla dowolnego rozważanego wektora parametrów reszta obserwacji wynosi Klasyczna metoda najmniejszych kwadratów minimalizuje funkcję celu:
Jeżeli kolumny macierzy są liniowo niezależne, rozwiązanie jest jednoznaczne i można je zapisać jako:
Równoważnie estymator spełnia równania normalne: