Derby County Bywater dołączył do Derby County w sierpniu 2006, na początku na zasadzie awaryjnej pożyczki na dwa tygodnie, później podpisując trzyletni kontrakt z baranami. W klubie nosi numer 43 na koszulce na cześć jego mentora i dawnego autorytetu bramkarskiego Lesa Sealey’ego, który zmarł w 2001 roku w wieku 43 lat, mówiąc, Les zajął się mną przez większość czasu.Trenowałem z nim codziennie, radził mi też w sprawach życiowych. Wiem, że on mnie strzeże i tego chce, bym dobrze sobie radził na bramce i w życiu. Bywater zagrał w 43 spotkaniach ligowych w sezonie 2006/07, ponieważ Derby wygrało w finale play-off z West Bromwich Albion 1:0 i awansowali do Premier League.
W czerwcu 2007 Bywater mówił, że chciałby grać w reprezentacji Anglii i ma nadzieję zostać zauważonym przez selekcjonera w sezonie 2007-08 mówiąc: Urosłem z paroma chłopakami takimi jak Paul Robinson, Rob Green i Chris Kirkland i oni są dobrzy, lecz ja nie uważam, że są ludźmi specjalnymi. Wierzę, że jeśli gram dobrze i jestem w formie, to dostanę powołanie