Został współpracownikiem Nikołaja Jegorowicza Żukowskiego – pioniera rosyjskiego lotnictwa. Pod koniec 1918 wspólnie z nim założyli Centralny Instytut Aerohydrodynamiczny (CAGI), w jego kolegium zasiadał do 1936 r. W 1922 Tupolew w ramach CAGI utworzył Doświadczalne Biuro Konstrukcyjne (OKB), a on sam został głównym konstruktorem biura. Biuro Konstrukcyjne Tupolewa zajmowało się samolotami bombowymi, pasażerskimi i transportowymi, choć konstruowano tam także inne pojazdy i uzbrojenie, takie jak kutry torpedowe, aerosanie, ślizgacze, rakiety. W 1923 r. zbudował swój pierwszy samolot ANT-1, w 1924 r. pierwszy radziecki samolot o konstrukcji metalowej ANT-2 oraz w 1925 r. pierwszy radziecki samolot bojowy o konstrukcji metalowej – ANT-3. left|thumb|ANT-4 konstrukcji Andrieja Tupolewa Pierwszym zaprojektowanym w biurze Tupolewa samolotem wprowadzonym do seryjnej produkcji był samolot bombowy ANT-4, który został zaprojektowany w 1924. Tupolew prowadził dalej badania nad nowymi wersjami swoich samolotów, z których część została wprowadzona do produkcji. W 1930 r. został głównym konstruktorem CAGI, w 1931 – zastępcą kierownika Centralnego Biura Konstrukcyjnego CAGI, w 1932 – kierownikiem Oddziału Konstrukcji Sektora Budowy Konstrukcji Doświadczalnych CAGI, w 1936 r.