Gdy w 1385 roku zawarto unię w Krewie pomiędzy Litwą a Królestwem Polskim, warownia w Łukowie straciła na znaczeniu militarnym. W 1403 roku wzmiankowano starostę łukowskiego, reprezentującego interesy króla w mieście i okolicy i jego siedzibę w Łukowie. W 1530 roku wzmiankowano istnienie w Łukowie drewnianego dworu królewskiego. W 1533 roku podczas olbrzymiego pożaru miasta drewniany obiekt obronny zwany zamkiem uległ całkowitemu zniszczeniu. Zapewne na początku drugiej połowy XVI w. na terenie starszego obiektu wzniesiono nieznane w formie budowle murowane lub drewniane na murowanych sklepionych piwnicach, w których przechowywano akta grodzkie. Jednak ich rozplanowanie i wygląd nie są znane. Prawdopodobnie większość zabudowy pozostawała drewniana, a murowane były tylko niektóre elementy założenia zamkowego. W 1564 roku wzmiankowano istnienie w Łukowie arx (zamku).
W 1656 roku podczas Potopu szwedzkiego miasto wraz z zamkiem zostało obrabowane i splądrowane przez wojska szwedzkie, a w roku 1657 uległo ponownemu zniszczeniu i spaleniu przez oddziały węgierskiego księcia Jerzego Il Rakoczego. Wzmiankowano wówczas zniszczenie „zamku drewnianego wraz z fortyfikacjami”. Zapewne po tym wydarzeniu zamek nie został już odbudowany.