Głównym źródłem dochodów były czynsze od domostw w mieście Lelów z ról i ogrodów miasta oraz z ról wsi miejskich, czyli Staromieścia, Ślęzan i Zbyszyc.
W 1494 roku nakładem mieszczan naprawiono zamkową bramę. Dziedziczenie posiadłości króla obejmujące Lelów i przyległe wsie przekształciło się w XV wieku na trwale w dobra zastawiane, z których całość dochodów czerpali zastawnicy, dotkliwie zubożając skarb państwa. W następnych stuleciach zamek uległ prawdopodobnie pożarom, które dotknęły również miasto (m.in. w 1547). Lustracja z 1662 roku opisuje zamek jako zniszczony i opustoszały. Później został on odbudowany przez starostę M. Rupniewskiego.
W 1789 roku w zamku mieściła się kancelaria starościńska, ale już na początku wieku XIX zamek był ruiną. Ostatecznie został rozebrany w latach 1804–1805 z rozkazu pruskiego zaborcy, a materiał z rozbiórki wykorzystano do budowy domów mieszkalnych w Ślęzanach i Sokolnikach.
Pozostały jedynie fundamenty znajdujące się głęboko pod ziemią, do których dostęp jest utrudniony ze względu na to, że na powierzchni kopca, na którym stał zamek, powstał cmentarz grzebalny.mały|lewo|Wzgórze z cmentarzem znajdującym się w miejscu zamku