Charlton Athletic 8 lipca 2005 roku Ambrose przeszedł za 1,5 mln funtów do londyńskiego Charltonu, z którym związał się czteroletnim kontraktem. W debiucie w nowym zespole w spotkaniu pierwszej kolejki Premiership z Sunderlandem Ambrose został ukarany czerwoną kartką. Pierwszego ligowego gola dla Charltonu zdobył 22 października 2005 roku w wyjazdowum spotkaniu 11 kolejki przeciwko Portsmouth. Ambrose zakończył sezon z 3 bramkami zdobytymi w 28 spotkaniach, a zespół Charltonu uplasował się na 13. miejscu w tabeli. W kolejnym sezonie Ambrose trafił do siatki 3 razy w 26 spotkaniach, co nie uchroniło Charltonu przed spadkiem z Premier League. W sezonie 2007/08 rozegrał 37 spotkań w Championship, w których zdobył 7 bramek. Sezon 2008/09 nie był dla Ambrose’a udany. W Championship rozegrał 30 meczów, z czego 9 dla Ipswich Town, do którego był wypożyczony w okresie od 10 listopada 2008 do 1 stycznia 2009 roku, nie strzelając ani jednej bramki w całym sezonie ligowym.