Zginął w nocy z 2 na 3 lipca 1998 r. we własnej daczy we wsi Kłokowo pod Moskwą. Według oficjalnej wersji po rodzinnej kłótni został zastrzelony we śnie przez żonę, która miała oskarżać go o zdrady, zaniedbywanie i brak pomocy w opiece nad chorym dzieckiem. Po przybyciu policji żona przyznała się do winy, ale trzy dni później odwołała zeznania, twierdząc, że została do nich zmuszona. Według jej późniejszej wersji, nieznani jej ludzie włamali się do ich domu, zażądali od Rochlina wydania pistoletu, po czym zastrzelili go z tejże broni. Następnie, grożąc zabiciem dzieci, zmusili ją do przyznania się do winy. W toku śledztwa ustalono, że na ubraniu i rękach kobiety nie było śladów prochu, a na pistolecie nie zidentyfikowano jej odcisków palców; ponadto kula trafiła z bliskiej odległości w boczną część czaszki, co może wskazywać na udział zawodowego strzelca. Dzień po morderstwie znaleziono też w spalonym samochodzie, 500 m od daczy Rochlina, ciała trzech zastrzelonych z bliskiej odległości przestępców. Po jego śmierci Ruch Wspierania Armii stracił na znaczeniu.
Pucz zaplanowany był na 20 lipca 1998 r., nominacja Władimira Putina na szefa FSB, która odbyła się kilka dni później, stała się podstawą teorii spiskowej, jakoby akcję likwidacji Rochlina miał przeprowadzić zespół dowodzony przez Putina