W połowie lat 90. zaangażował się w działalność polityczną w strukturach rządzącego Etiopskiego Ludowo-Rewolucyjnego Frontu Demokratycznego (EPRDF). Wstąpił do skupionej w jego ramach partii Ruch Demokratyczny Ludów Południowej Etiopii (SEPDM), działającej na terenie Regionu Narodów, Narodowości i Ludów Południa (SNNPR), zostając w 2002 jej przewodniczącym. W latach 1995–2008 był członkiem lokalnego parlamentu, Izby Reprezentantów SNNPR. Od 2000 do 2001 był wiceprzewodniczącym Regionu Narodów, Narodowości i Ludów Południa, a w latach 2001-2006 przewodniczącym.
Równocześnie od 1995 do 2008 zajmował stanowisko deputowanego do Izby Federacji, a w 2008 objął mandat deputowanego do Izby Przedstawicieli Ludowych. Od 2006 do 2008 był specjalnym doradcą premiera Melesa Zenawiego ds. społecznych, organizacji obywatelskich i współpracy w randzie ministra. W latach 2008–2010 pełnił funkcję ministra ds. współpracy z parlamentem (whipa). 1 września 2010 objął urząd wicepremiera oraz ministra spraw zagranicznych. Został także wiceprzewodniczącym EPRDF.