Bamford odrzucił dwukrotnie możliwość przedłużenia wygasającego w lecie kontraktu z Forest, a klub pozwolił wychowankowi odejść do Chelsea.
31 stycznia 2012 roku został zawodnikiem Chelsea, podpisując z klubem pięcioletni kontrakt. W lutym zaczął trenować z pierwszą drużyną i występować w drużynie rezerw. Grał głównie na pozycji prawoskrzydłowego i zdobył 6 bramek w 7 rozegranych meczach rezerw. W 2014 roku wziął udział w meczach przedsezonowych pierwszej drużyny i 17 lipca w pierwszym sparingu Chelsea strzelił pierwszą bramkę spotkania, a jego drużyna pokonała Wycombe 5–0. 21 lipca 2015 roku podpisał nowy, trzyletni kontrakt z Chelsea.
W listopadzie 2012 roku dołączył na zasadzie 6-tygodniowego wypożyczenia do występującego wówczas w League One Milton Keynes Dons. Ostatecznie wypożyczenie przedłużono do końca sezonu. Bamford zakończył sezon z 4 golami w 14 występach. W czerwcu 2013 roku Chelsea przedłużyła wypożyczenie Bamforda do 5 stycznia 2014 roku. W 23 ligowych występach Bamford strzelił 14 goli. 4 stycznia 2014 roku, w ostatnim występie dla The Dons, Bamford zdobył swojego 17 gola w sezonie, który zapewnił remis 3–3 w meczu trzeciej rundy FA Cup przeciwko Wigan Athletic.