W zupełnie inny sposób podchodzi się do bardzo dużych układów, których rozwiązanie kosztowałoby zbyt dużo czasu lub pamięci. Idea polega na rozpoczęciu od wstępnego przybliżenia rozwiązania (które wcale nie musi być dokładne) i stopniowym jego poprawianiu. Jeśli jest ono wystarczająco dokładne, to właśnie ono przyjmowane jest jako rozwiązanie układu. Tego rodzaju podejście prowadzi do metod iteracyjnych.
Charakteryzacja
thumb|Zbiór rozwiązań dwóch równań liniowych o trzech zmiennych zwykle tworzy prostą (przestrzeń jednowymiarową)