W 1938 padł ofiarą wielkiej czystki i był uwięziony przez sześć lat, w tym przez pewien czas w syberyjskim łagrze GUŁAG-u. Większość wyroku spędził jednak w szaraszce, specjalnym więzieniu dla specjalistów, które pozwalało im kontynuować swoją pracę. Po zwolnieniu w 1944 stał się kluczową osobą w radzieckim programie rakietowym tworzącym rakiety międzykontynentalne. Tu wykazał wielki talent do scalania projektów, organizowania prac na masową skalę i dalekosiężnego planowania. Pracował z przejętymi niemieckimi naukowcami rakietowymi w tym z Helmutem Gröttrupem. Pracując nad bronią rakietową, stopniowo zaczął przekonywać przywódców ZSRR do rozpoczęcia wyścigu kosmicznego ze Stanami Zjednoczonymi, w celu zwiększenia prestiżu ZSRR. W sierpniu 1956 został mianowany głównym konstruktorem radzieckiego programu kosmicznego i był odpowiedzialny za jego największe sukcesy, w tym wystrzelenie satelity Sputnik 1 i załogowego statku kosmicznego Wostok. Następnie pod jego kierownictwem rozpoczęto pracę nad serią misji mających prowadzić do lądowania na Księżycu i jeszcze bardziej ambitnych programów lotów do Marsa i Wenus.