Ocalało wówczas jedynie skrzydło zachodnie, które jest jedyną pozostałością dawnej warowni.
Odbudowa Skrzydło zachodnie zostało odnowione w latach 1680–1688 za czasów Jana III Sobieskiego i nadbudowane w północnej części gdzie utworzono piano nobile, czyli reprezentacyjną salę z wysokim sufitem. W miejscu dawnego skrzydła południowego zbudowano stajnie.
W 1768 roku podczas konfederacji barskiej zamek został uszkodzony przez stacjonujące na nim wojska rosyjskie.
W celu zapobieżenia podmywaniu zamku przez Wisłę, po 1784 roku na wniosek komisji Boni Ordinis, zbudowano pod „kurzą stopą” zachowaną do dzisiaj murowaną skarpę.
Zamek od XIX wieku (więzienie) Po III rozbiorze Polski zaborcze władze austriackie przeznaczyły budynek zamkowy na więzienie i siedzibę sądu kryminalnego. W czasach Królestwa Kongresowego około 1825 roku przebudowano wnętrza gmachu zamkowego, dzieląc barokowe piano nobile z czasów Sobieskiego na dwie kondygnacje. Przez wszystkie piętra części południowej przeprowadzono korytarz, dzieląc boczne pomieszczenia na mniejsze cele. Z kolei elewację od strony dziedzińca przebudowano około 1844 roku w stylu klasycystycznym i otoczono dziedziniec murem. Przypuszcza się, że projektantem nowej fasady z rustyką mógł być Józef Sadkowski, Bernard Sieg, Feliks Popławski lub Franciszek Reinstein.