Początki kariery politycznej W 1981 dołączył do australijskiej służby dyplomatycznej.Przebywał na placówkach dyplomatycznych w Sztokholmie i w Pekinie. Do kraju powrócił w 1988. Do 1993 zajmował stanowisko szefa gabinetu lidera Partii Pracy w Queensland, Wayne’a Gossa. Gdy w 1989 Gosse został premierem Queensland, Rudd zachował stanowisko szefa jego gabinetu, aż do 1995. W 1995 został doradcą ds. rynku chińskiego australijskiego oddziału międzynarodowej firmy KPMG.
W 1996 bez powodzenia ubiegał się o mandat deputowanego w okręgu Griffith w Brisbane. Dopiero dwa lata później dostał się do Izby Reprezentantów z tego okręgu. W wyborach w 2001, 2004 oraz w 2007 odnawiał mandat deputowanego.
W listopadzie 2001 wszedł w skład gabinetu cieni Partii Pracy. Objął w nim początkowo funkcję ministra spraw zagranicznych (listopad 2001-grudzień 2003), a następnie ministra spraw zagranicznych i bezpieczeństwa międzynarodowego (grudzień 2003-czerwiec 2005) oraz ministra spraw zagranicznych i.handlu (czerwiec 2005-grudzień 2006). W czasie wyborów nowego przewodniczącego Partii Pracy w 2003, był wymieniany jako jeden z możliwych kandydatów. Nie zdecydował się jednak na start i nowym liderem partii został Mark Latham. Latham zrezygnował z przywództwa partii w styczniu 2005.