Peterborough United Burgess trafił na wypożyczenie do Peterborough United 19 sierpnia 2014 na jeden miesiąc. Zadebiutował u nich tego samego dnia w starciu z Sheffield United (1:2). 21 sierpnia 2014 po rozegraniu dla nich jednego meczu, został wykupiony przez Peterborough United. Pierwszą bramkę zdobył 11 października 2014 w wygranym 4:1 spotkaniu przeciwko Crawley Town. 8 listopada 2014 w starciu w ramach Pucharu Anglii z Carlisle United (2:1) ustrzelił dublet. Łącznie rozegrał dla nich 33 mecze i strzelił 5 goli.
Portsmouth Burgess przeniósł się do Portsmouth 25 czerwca 2015. Debiut dla nich zaliczył 8 sierpnia 2015 w wygranym 3:0 spotkaniu przeciwko Dagenham & Redbridge. Pierwszego gola strzelił 25 marca 2016 w meczu z Notts County (4:0). W sezonie 2015/2016 zajął wraz ze swoją drużyną piąte miejsce w lidze, dzięki czemu Portsmouth mogło zagrać w barażach o EFL League One. W nich przegrali jednak 2:3 w dwumeczu z Plymouth Argyle (2:2;