Za swoją służbę w Kraju Warty uzyskał 30 stycznia 1942 awans na jeden z najwyższych stopni w SS: Obergruppenführera.
W listopadzie 1943 Koppe został członkiem rządu generalnego gubernatorstwa dzięki powołaniu go na stanowisko Wyższego Dowódcy SS i Policji GG, z siedzibą w Krakowie. Zastąpił on Friedricha Wilhelma Krügera. Równolegle sprawował funkcję sekretarza stanu do spraw bezpieczeństwa (niem. Staatssekretär für das Sicherheitswesen) w „rządzie” Generalnego Gubernatorstwa. Również na tych stanowiskach Koppe był jednym z głównych organizatorów terroru wobec cywilnej ludności polskiej, stosując odpowiedzialność zbiorową i akcje pacyfikacyjne. Na przełomie stycznia i lutego 1944 wydał rozkaz rozstrzelania 100 Polaków, więźniów politycznych z hitlerowskiego więzienia Montelupich, w odwecie za nieudany zamach na generalnego gubernatora Hansa Franka (akcji dokonała Armia Krajowa 29 stycznia 1944). Zgodnie z tym poleceniem 50 Polaków rozstrzelano 2 lutego 1944 w Dębicy, a następnych 50 w miejscowości Podłęże.