Gauss, który twierdził, że używał jej od 1794 r., wsparł ją w 1809 założeniem o rozkładzie błędów normalnym (zwanym też rozkładem Gaussa-Laplace’a). Od Gaussa pochodzi nazwa: Methode der kleinsten Fehlerquadrate (po polsku: metoda najmniejszych kwadratów błędów).
Początkowo była stosowana do obliczeń geodezyjnych, określających wielkość najbardziej prawdopodobną z wielu nie całkiem zgodnych pomiarów. Stała się podstawą teorii błędów pomiarów, używanej początkowo w astronomii i geodezji, obecnie we wszystkich pomiarach fizycznych. Legła też u podstaw statystyki.
Szerokie jej stosowanie wpłynęło na uproszczenie nazwy, która jest nieco myląca, ale międzynarodowa (pl: Metoda najmniejszych kwadratów, de:Methode der kleinsten Quadrate, en: Method of least squares, ru: Mietod najmieńszych kwadratow).
Opiera się na postulacie Legendre’a. W postaci najprostszej postulat ten brzmi tak: wartością najbardziej prawdopodobną, otrzymaną z szeregu wyników tak samo dokładnych pomiarów, jest taka, od której obliczone odchylenia tych wyników, po podniesieniu do drugiej potęgi i zsumowaniu dają wielkość najmniejszą z możliwych.