W wolnych chwilach podejmował własne próby literackie, pisał poetyckie utwory satyryczne o środowisku petersburskim, ale zaprzestał ich, kiedy usłyszał pochwały pod swoim adresem za swoje wiersze i porady, aby kontynuował pisanie ich. Dużo czasu poświęcał na czytanie, głównie w języku angielskim, ale również francuskim. W okresie wakacji wyjeżdżał na wieś, gdzie pracował jako nauczyciel domowy, np. u generała Zurowa (uczył jego krewnych).
14 kwietnia 1859 roku Józef Kalinowski zrezygnował z pracy w Mikołajewskiej Akademii Inżynierii Wojskowej i wkrótce zatrudnił się w prywatnym przedsiębiorstwie budowy kolei żelaznej na stanowisku technika odcinkowego; do jego zadań należały badania orograficzne i szukanie miejsc najodpowiedniejszych do wytyczenia trasy kolejowej na linii Odessa – Kursk. Pod koniec 1859 roku Kalinowski powrócił do Petersburga i wiosną 1860, pracując w biurze Towarzystwa Kolei Żelaznych, opracowywał zebrane dane, ale wkrótce budowa linii kolejowej została wstrzymana. Kilka następnych miesięcy spędził w Wilnie i w Studzionkach koło Nieświeża, u swojego brata Wiktora. Wrócił na początku sierpnia i postanowił poświęcić się wojskowej służbie inżynierskiej. 13 października otrzymał przydział w Komendzie Inżynierskiej do twierdzy w Brześciu Litewskim, przybył tam 7 listopada i pozostał tam przez kolejne dwa lata.