Kolejny sezon nie był jednak już tak udany. Kempe rozegrał 27 spotkań, w których strzelił dwie bramki i zanotował jedną asystę, a jego klub do ostatniej kolejki walczył o uniknięcie konieczności gry w barażach o 2. Bundesligę. Ostatecznie Erzgebirge uplasowało się na piętnastej pozycji dającej utrzymanie.
6 marca 2012 Kempe podpisał kontrakt z SC Paderborn. Umowa obowiązywała od 1 lipca tego samego roku, jednak już w styczniu 2013 roku Kempe przeszedł do Dynama Drezno, z którym w 2. Bundeslidze utrzymał się dopiero po wygranych barażach z VfL Osnabrück. Przed ostatnią kolejką sezonu 2013/2014 Dynamo znów było szesnaste w tabeli (pozycja ta oznaczała grę w barażu o utrzymanie), ale w ostatnim meczu ośmiokrotni mistrzowie NRD przegrali 2:3 z Arminią Bielefed i zostali przez nią wyprzedzeni w tabeli.
Po spadku Dynama do 3. Ligi, Kempe przeszedł za darmo do SV Darmstadt 98, beniaminka 2. Bundesligi. Klub, którego Kempe był podstawowym graczem niespodziewanie zajął drugie miejsce w tabeli i po raz pierwszy w historii awansował do 1. Bundesligi. W elicie Kempe zadebiutował 15 sierpnia 2015 w meczu pierwszej kolejki przeciwko Hannover 96 (2:2). SV Darmstadt 98 zajął w tym sezonie 14. miejsce w tabeli. Po zakończeniu rozgrywek Kempe przeszedł do 1. FC Nürnberg.