W latach 1843–1850 Kalinowski uczył się w Instytucie Szlacheckim w Wilnie, gdzie uczył jego ojciec, nadto w latach 1852–1857 był dyrektorem tejże placówki. Była to elitarna szkoła z internatem, z rosyjskim i francuskim językiem wykładowym, przeznaczona dla polskiej, litewskiej, żmudzkiej, niemieckiej i rosyjskiej młodzieży ze szlacheckich i zamożnych rodzin. Polscy nauczyciele „zaznajamiali uczniów ze sprawami ojczyzny” poza oficjalnym programem nauczania, do tego dochodziło samokształcenie w zakresie języka polskiego, polskiej historii i lektura polskich pisarzy. Józef Kalinowski interesował się szczególnie przedmiotami ścisłymi i był jednym z najlepszych uczniów w historii Instytutu (jego nazwisko wyryto z tej przyczyny na tablicy marmurowej zamieszczonej na ścianie budynku szkoły). Po skończeniu szkoły miał możliwość wstąpienia na służbę wojskową i kontynuowania studiów, jednak ojciec nie zgodził się wyjazd synów Wiktora i Józefa do Rosji.

Od 1850 roku Kalinowski kształcił się w Instytucie Agronomicznym w Horach-Horkach koło Orszy;