W marcu 2009 Kilman został mianowany liderem całej opozycji.

18 listopada 2009 powrócił do rządu po tym, jak premier Edward Natapei zaprosił do koalicji opozycyjny dotąd Sojusz w miejsce Zjednoczonej Partii Narodowej (VNUP) oraz Partii Republikańskiej (VRP), które planowały uchwalenie wotum nieufności przeciw premierowi. W rządzie Natapei objął stanowisko wicepremiera i ministra handlu.

2 grudnia 2010 został mianowany nowym szefem rządu, po uchwaleniu przez parlament wotum nieufności wobec rządu premiera Natapei, który przebywał wówczas poza granicami kraju, uczestnicząc w szczycie klimatycznym w Cancún.

Również jego gabinet został odsunięty od władzy w wyniku parlamentarnego głosowania nad wotum nieufności 24 kwietnia 2011. Za jego przyjęciem opowiedziało się 26 z 52 deputowanych. Nowym szefem rządu został wybrany po raz kolejny Serge Vohor.

Kilman odwołał się jednak do sądu. 13 maja 2011 Sąd Apelacyjny anulował mianowanie Vohora na stanowisko premiera, uznając jego wybór za niekonstytucyjny. Sąd uznał, że jego wybór odbył się w oparciu o zwykłą większość głosów (26 z 52), a nie wymaganą przez konstytucję większość bezwzględną (co najmniej 27 spośród 52 głosów).