Google Po przejęciu Androida przez Google w 2005 roku, Rubin został starszym wiceprezesem firmy ds. urządzeń mobilnych i treści cyfrowych, gdzie nadzorował rozwój Androida, systemu operacyjnego open-source dla smartfonów. 13 marca 2013 roku Larry Page ogłosił we wpisie na blogu, że Rubin przeniósł się z działu Androida, aby zająć się nowymi projektami w Google. Androida przejął Sundar Pichai. W grudniu 2013 roku Rubin rozpoczął zarządzanie działem robotyki w Google (w tym firmami takimi jak Boston Dynamics, których Google było wówczas właścicielem). 31 października 2014 roku opuścił Google po dziewięciu latach pracy w firmie, aby założyć firmę venture capital dla startupów technologicznych.
Zarzuty dotyczące molestowania seksualnego Według The New York Times, podczas gdy odejście zostało przedstawione mediom jako polubowne, dyrektor generalny Larry Page osobiście poprosił o rezygnację Rubina po tym, jak roszczenie o molestowanie seksualne pracowniczki przez Rubina zostało uznane za wiarygodne, podczas dochodzenia przeprowadzonego przez Google. Pracowniczka, z którą Rubin miał związek pozamałżeński, oskarżyła go o zmuszanie jej do seksu oralnego w pokoju hotelowym w 2013 roku.