Wojna secesyjna 16 marca 1861 roku Smith dołączył do wojsk Konfederacji jako major regularnej artylerii, po czym został przeniesiony do kawalerii z natychmiastowym awansem na podpułkownika. Przesłużywszy pewien czas jako generał adiutant gen. bryg. Josepha Egglestona Johnstona podczas walk w dolinie ShenandoahLossing, Harpers’ popular cyclopaedia of United States history from the aboriginal period to 1876, s. 1306. został 17 czerwca awansowany na generała brygady i objął dowództwo nad brygadą armii Shenandoah. Prowadził ją w bitwie nad Bull Run 21 lipcaWaggner, s. 422.. Poważnie raniony w szyję i bark, odzyskiwał siły dowodząc Departamentem środkowej i wschodniej Florydy. Do służby powrócił 11 października, już jako generał dywizji w armii Północnej WirginiiCunningham, s. 166..
W lutym 1862 Smith został wysłany na zachód, aby objąć dowodzenie na Armią Wschodniego Tennessee. Współpracując z gen. Braxtonem Braggiem podczas inwazji na Kentucky odniósł zwycięstwo pod Richmond 30 sierpnia. 9 października został ponownie awansowany, tym razem na generała armii, zostając dowódcą korpusu w armii Tennessee. Smith otrzymał także oficjalne podziękowania od Kongresu 17 lutego 1864 roku, za działania pod RichmondEicher, s. 494.