W 1569 roku w murach zamku obradował sejm, na którym podpisano akt unii polsko-litewskiej – unię lubelską. 19 lipca 1569 na sejmie w Lublinie książę pruski Albrecht Fryderyk Hohenzollern złożył hołd lenny Zygmuntowi II Augustowi, co obecny wówczas Jan Kochanowski opisał w utworze Proporzec albo hołd pruski.
Pomiędzy 1635 a 1642 rokiem pod kierunkiem Jana Cangerle zamek prawdopodobnie wyremontowano. W 1648 w zamku kierował działaniami wojennymi król Jan Kazimierz. W latach 1655–1657 zamek zajmowały wojska szwedzkie, węgierskie i moskiewskie, co doprowadziło do jego ogromnych zniszczeń. Podczas działań wojennych budynek spłonął i zawalił się. Ocalały jedynie najstarsze budowle – kaplica i donżon. W 1743 starosta Jakub Zamoyski wzniósł nowe budynki kancelarii i archiwum, a w 1773 budynek dawnej bramy wjazdowej został przebudowany na cele mieszkalne przez starostę Wincentego Potockiego.
Od zaborów do 1954: więzienie W latach 1823–1826, z inicjatywy Stanisława Staszica i według projektu Jana Stompfa, wzniesiono na wzgórzu nową budowlę w stylu neogotyku angielskiego, przeznaczoną na więzienie Królestwa Kongresowego. Funkcję więzienia budowla ta pełniła przez 128 lat. W latach 1831–1915 było tu więzienie carskie, głównie dla uczestników walk o niepodległość, m.in.