W latach 1240–1280 rozgorzały walki o tereny, na których leżał gród, pomiędzy Litwinami i książętami ruskimi. W 1270 Grodno opanował wielki książę litewski Trojden. Rządzili w nim też Erdzwiłł, Witenes, a także nietrwale Daniel Romanowicz i jego syn. W 1283 rozpoczęły się najazdy krzyżackie, które nękały Grodzieńszczyznę aż do bitwy pod Grunwaldem w 1410. Po śmierci litewskiego księcia Giedymina w grudniu 1341, Wielkie Księstwo Litewskie uległo podziałowi między jego siedmiu synów. Z tego powodu miasto włączono do nowo powstałego Księstwa Trockiego, rządzonego przez Kiejstuta. W sierpniu 1358 w Grodnie zawarty został układ graniczny między litewskim księciem Kiejstutem i księciem mazowieckim Siemowitem III.
W 1376 Grodno weszło ponownie w skład Wielkiego Księstwa Litewskiego. Na mocy unii w Krewie zawartej 10 lat później wraz z Wielkim Księstwem Litewskim formalnie włączone do Królestwa Polskiego. W tym czasie istniał w Grodnie drewniany gród z kamiennym stołpem, który atakowany był w czasie wojny Witolda z Jagiełłą w 1382, 1389 i 1390, a przez zakon krzyżacki w latach 1284, 1295, 1306, 1311, 1312, 1328, 1363, 1373, 1375, 1377 i 1392. Krzyżacy pod dowództwem Konrada Wallenroda zdobyli go w końcu w 1393. W tym samym roku Grodno zostało siedzibą księcia Witolda, na którego rozkaz w 1398 wybudowano murowany gotycki zamek.