Niemal natychmiast przeciwko nowemu cesarzowi zaczęli intrygować jego wujowie, którzy korzystając ze swojej pozycji w armii doprowadzili do śmierci cywilnych wyższych urzędników, mogących hamować ich zapędy, z Yang Yinem na czele. 8 października 560 cesarzowa wdowa ogłosiła ustąpienie Gao Yina i objęcie tronu przez jej syna, Gao Yana ( (560-561). Niedługo później Gao Yin został stracony. Gao Yan jednak niedługo cieszył się władzą, gdyż w następnym roku zginął w wyniku upadku z konia.
Cesarzem został teraz kolejny syn Gao Huana, Gao Zhan ( (561-565). Gao Zhan nie interesował się sprawami państwa, zajmując się głównie przyjemnościami, zaś główną rolę w jego rządzie odgrywali dworscy faworyci, tacy jak i . Tymczasem równowaga sił pomiędzy Północnym Qi a zaczęła się przechylać na korzyść tego ostatniego. Dwukrotnie, w 563 i 564, sprzymierzone z Turkami siły Północnego Zhou atakowały Północne Qi. Obie inwazje ostatecznie zostały odparte, nie ulegało jednak wątpliwości, że inicjatywa przeszła na stronę zachodniego rywala Qi.