Inną drogą do teorii grup – nie tylko przemiennych – były badania nad rozwiązalnością równań algebraicznych za pomocą pierwiastników. Joseph Louis Lagrange i Paolo Ruffini badali w tym kontekście grupy przekształceń zmieniających porządek elementów zbiorów skończonych, później nazwane grupami permutacji. Ruffini przedstawił w 1799 roku twierdzenie mówiące, że niektórych równań algebraicznych stopnia wyższego niż czwarty nie da się rozwiązać pierwiastnikami. Jego wynik początkowo zignorowano, być może przez złożoność i odkryte później nieścisłości. Badania te kontynuował Niels Henrik Abel, który w 1824 roku przedstawił prostszy dowód; dlatego wynik ten nazwano twierdzeniem Abela-Ruffiniego.
W 1830 roku problem ten przeanalizował głębiej Évariste Galois. Wprowadzając pojęcie grupy rozwiązalnej, podał warunek równoważny na rozwiązalność równania wielomianowego przez pierwiastniki. Doniosłości jego prac początkowo nie doceniono, ale kilkanaście lat po jego śmierci teorię Galois zaczęto wykładać i rozwijać. To właśnie on jako pierwszy użył nazwy „grupa” (), odnosząc ją do wspominanych grup permutacji (zob. działanie grupy na zbiorze).