Następnie musiał zmierzyć się z odparciem rajdu federalnej kawalerii generała Philipa Sheridana na Richmond. 11 maja 1864 roku stoczył ostatnią bitwę – pod Yellow Tavern, gdzie zwyciężyli Jankesi. W trakcie walki, gdy Stuart zajmował stanowisko przy konfederackiej baterii artylerii, jeden z szarżujących na nią żołnierzy federalnych, John Huff (z 5. pułku kawalerii z Michigan) dostrzegł go i strzelił ze swojego rewolweru Colt. Kula trafiła dowódcę południowej jazdy w podbrzusze. Oficerowie zabrali go z pola bitwy, a ten, mimo rany, starał się zachęcić swoich podkomendnych do dalszej walki.