Na początku lat 90. grał na keyboardzie w zespole, który dzielił salę prób z grupą, z którą występował Daron Malakian. Obydwaj chodzili do Rose and Alex Pilibos, ale do tej pory znali się tylko z widzenia. Szybko zauważyli, że mają ze sobą dużo wspólnego i razem założyli zespół o nazwie „Soil”, który później zmienił nazwę na System of a Down. Tankian jest współzałożycielem, twórcą tekstów zespołu i jego wokalistą. Gra w nim także na keyboardzie, a na koncertach w niektórych piosenkach gra również na gitarze elektrycznej i akustycznej.
W 2001 roku założył własną wytwórnię płytową Serjical Strike Records. Nagrał w niej płytę Serart wraz z Arto Tunçboyacıyanem. Wydał także swój tomik poetycki pt. Cool Gardens. Zagrał gościnnie w piosence i teledysku We are One gitarzysty Bucketheada. Nagrał partie wokalne na płycie Enter the Chicken (2005) tegoż amerykańskiego muzyka. Udzielał się wokalnie również w projektach innych muzyków.