W 2000 roku lider większości w Izbie Reprezentantów Florydy, Mike Fasano, mianował Rubio jednym z dwóch whipów. We wrześniu 2001 roku Fasano zrezygnował ze stanowiska w wyniku konfliktu z przewodniczącym Izby, który pominął Rubio przy wyborze jego następcy, wskazując bardziej doświadczonego polityka. Rubio wówczas uczestniczył w wydzielaniu nowych okręgów wyborczych, co przyczyniło się do rozszerzenia jego stosunków z liderami Partii Republikańskiej.
W grudniu 2002 roku Rubio został mianowany liderem większości w Izbie Reprezentantów Florydy przez przewodniczącego Johnniego Byrda. Przekonał Byrda do zmiany zakresu obowiązków tego stanowiska: bieżące negocjacje legislacyjne miały pozostać w gestii biura whipów, natomiast Rubio stał się głównym rzecznikiem republikanów w Izbie.
Według National Journal w tym okresie Rubio nie zawsze trzymał się ortodoksyjnie konserwatywnych zasad, a część współpracowników określała go jako centrystę, który poszukiwał współpracy z Demokratami oraz grupami zwykle nie wiązanymi z Partią Republikańską.