Z własnych pieniędzy Gzowski ufundował przyznawaną do dziś nagrodę w tych wyścigach – srebrną paterę o nazwie Queen’s Plate, która stanowi najstarszą nagrodę sportową w całej północnej Ameryce.
Założył pierwszy klub myśliwski w Kanadzie, a także pierwszy kanadyjski klub strzelecki Rifle Association of Ontario, pełniąc także funkcję prezydenta Dominion Riffle Association, któremu patronował finansowo. Z jego inicjatywy i częściowo na jego koszt kanadyjska reprezentacja strzelecka po raz pierwszy wzięła udział w 1870 roku w mistrzostwach imperialnych w Wimbledonie.
W kwietniu 1873 roku został mianowany pułkownikiem kanadyjskiej milicji, a także zaangażował się w tworzenie nowo powstającej armii kanadyjskiej, pełniąc funkcję szefa Central Division of Volunteers in Toronto (pol. Centralnego Wydziału Ochotników w Toronto). W 1885 roku Gzowski ufundował również Casimir Gzowski Cup puchar w corocznych zawodach, w których rywalizują oddziały inżynierskie Kanadyjskiej Milicji. Przyznawany jest on do chwili obecnej przez Canadian Military Engineers Association (pol.