Z tego powodu w 1406 zamek był oblegany przez księcia smoleńskiego Jerzego Światosławicza, który spalił miasto, ale zamku nie był w stanie zdobyć.
Podczas wojny domowej z Zygmuntem Kiejstutowiczem, zamek był oblegany w 1433 przez księcia Świdrygiełłę.
Około 20 lipca 1506 odbył się w Lidzie sejm z udziałem Aleksandra Jagiellończyka, a następnie w obozie pod miastem zebrały się wojska litewskie i polskie, które rozbiły następnie Tatarów w bitwie pod Kleckiem. W wiekach XIV-XVI Lida była jednym z pięciu największych miast Wielkiego Księstwa Litewskiego. W dniu 17 września 1590 Zygmunt III Waza przyznał Lidzie prawo magdeburskie i herb przedstawiający lwa z dwoma kluczami nad głową. Przywilej z 1611 potwierdził istniejące tu od dawna dni targowe. W 1638 przy ścianie zamku lidzkiego zdecydowano wybudować magazyn służący przechowywaniu dokumentów lidzkiego sądu ziemskiego i archiwów. W dniu 20 kwietnia 1640 Władysław IV zatwierdził w Warszawie przyznane Lidzie prawo magdeburskie.
W 1655 Lidę zajęli Kozacy Zołotarenki, którzy opanowali też zamek. W 1659 natomiast moskiewskie wojska Chowańskiego po oblężeniu zamku całkowicie zniszczyły miasto.