Zalążkiem Gułagu jako miejsca izolowania i niewolniczej pracy osób podejrzanych politycznie był założony w 1923 na Wyspach Sołowieckich obóz szczególnego przeznaczenia – owiane złą sławą Sołowki (Соловецкий лагерь особого назначения, СЛОН). Obóz mógł pomieścić 50 tys. więźniów.
Formalnym początkiem GUŁAGU jako systemu powiązanych ze sobą obozów jest decyzja Biura Politycznego KC WKP(b) z 27 czerwca 1929 roku. Postanowiono wówczas powołać system powiązanych ze sobą obozów pracy, które miały docelowo zastąpić więzienia dla wszystkich więźniów, którzy mieli odsiadywać wyroki powyżej 3 lat. Kontrolę nad tym systemem miało sprawować OGPU.
W tym samym roku w ZSRR rozpoczęto przymusową kolektywizację i industrializację. Konsekwencją tej polityki była fala represji wobec oponentów reżimu. Z represjami spotykali się w szczególności zamożni chłopi (tzw. kułacy), duchowni i inteligenci. Z drugiej strony był to okres prześladowań członków WKP(b). Masowe represje sprawiły, że władze zmieniły początkowe plany. Obozy rozwijały się szybciej niż wcześniej planowano, obok więźniów kryminalnych przyjmowały setki tysięcy więźniów politycznych.