Do wysokiego błędu modelu poza próbą treningową może prowadzić zarówno jego nadmierne uproszczenie (wysokie obciążenie), jak i nadmiernie szczegółowa wrażliwość (wysoka wariancja). Choć obciążenie jest z zasady niepożądane, niepożądana jest także wariancja estymatora. Estymator o najmniejszym obciążeniu nie musi być w praktyce najlepszym narzędziem wobec badanego problemu, co obrazuje np. paradoks Steina.
Opis tego problemu oferuje matematyczną formalizację takich zjawisk jak nadmierne dopasowanie, które motywują stosowanie przeciwdziałających mu narzędzi takich jak statystyki odpornościowe, regularyzacja, metody zespołowe czy bagging. Występuje we wszystkich postaciach uczenia nadzorowanego; przywołano go także do wyjaśnienia efektywności heurystyk poznawczych stosowanych przez ludzi.
Choć przykłady tego zjawiska były znane już wcześniej, jego konceptualizację jako „kompromis” wprowadzili do nauki S. Geman, E. Bienenstock i R. Doursat w 1992 r., w publikacji dotyczącej błędu uczenia sieci neuronowych.
Dekompozycja błędu na obciążenie i wariancję modelu Funkcja oczekiwanego błędu średniokwadratowego estymatora poddaje się matematycznej dekompozycji na sumę trzech komponentów: obciążenia i wariancji modelu, oraz błędu nieredukowalnego –, tj.