Prawo Wirginii zabraniało uczenia niewolników, wolnych murzynów i mulatów sztuki czytania i pisania, po buncie Nata Turnera w hr. Southampton w 1831 r. Mimo tego Jackson nie poprzestał uczenia niewolnika. Uzyskawszy tę zdolność, murzyn uciekł do Kanady poprzez Underground RailroadRobertson, Stonewall Jackson: The Man, The Soldier, The Legend, s. 17.. Młody Jackson wyniósł na tyle dużo umiejętności z tego zdarzenia, iż został nauczycielem.
Kariera wojskowa West Point W 1842 r., w wieku 18 lat, Jackson został przyjęty do Akademii Wojskowej w West Point w Nowym Jorku (nie obyło się bez wstawiennictwa ze strony kongresmena Samuela Haysa). Z powodu niepełnego wykształcenia Jackson miał spore problemy na samym początku – pracował ciężej niż większość kadetów, wykazując zaciętą determinację, która stała się cechą charakterystyczną całego życia. Udało mu się dowieść swojej wartości i podnosić swoje kwalifikacje. Ukończył West Point jako 17 z 59 studentów w 1846 r. Jego przełożeni stwierdzili, iż gdyby miał do dyspozycji jeszcze 3 lata, byłby pierwszym w swoim roczniku.