Idea Zwykła regresja liniowa przewiduje wartość oczekiwaną danej nieznanej wielkości (zmiennej objaśnianej, nazywanej też zmienną odpowiedzi) na podstawie kombinacji liniowej obserwowanych wartości (zmiennych objaśniających). Oznacza to, że określona zmiana predyktora prowadzi średnio do proporcjonalnej zmiany zmiennej objaśnianej (model odpowiedzi liniowej). Jest to odpowiednie, gdy zmienna objaśniana zmienia się (z dobrym przybliżeniem) w nieskończoność w dowolnym kierunku lub zmienia się jedynie o stosunkowo niewielką wartość w porównaniu ze zmianami zmiennych predykcyjnych, np. w przypadku wzrostu człowieka.
Jednak założenia te mogą być niewłaściwe w przypadku niektórych typów zmiennych objaśnianych. Na przykład gdy oczekuje się, że zmienna objaśniająca będzie się zmieniać w szerokim zakresie, ale zawsze będzie dodatnia, zmiany predyktorów mogą prowadzić do geometrycznie (tzn. wykładniczo) – a nie liniowo – zmieniających się wartości na wyjściu. Załóżmy na przykład, że liniowy model predykcyjny dowiaduje się na podstawie cząstkowych danych (być może pochodzących głównie z dużych plaż), że spadek temperatury o 10 stopni spowoduje, że plażę będzie odwiedzać o 1000 osób mniej. Jest mało prawdopodobne, aby ten model można było uogólnić na plaże o różnej wielkości.