Na przełomie XVI i XVII wieku zamek znalazł się w rękach Tęczyńskich. Po śmierci wojewody krakowskiego Jana Magnusa Tęczyńskiego poprzez jego córkę Izabelę Tęczyńską zamek stał się w 1639 roku własnością pisarza, poety i marszałka sejmu Łukasza Opalińskiego. W dniu 16 stycznia 1646 r. na zamku odbyło się wesele siostry właściciela Zofii Opalińskiej z opromienionym już wtedy wojenną sławą hetmanem wielkim koronnym Stanisławem Koniecpolskim, jednak hetman zmarł już po dwóch miesiącach małżeństwa. W 1657 r. podczas Potopu szwedzkiego załoga dowodzona przez Łukasza Opalińskiego obroniła zamek przed węgierskimi wojskami księcia Jerzego II Rakoczego, a następnie Opaliński odbudował go ze zniszczeń spowodowanych oblężeniem.
W 1727 roku zamek częściowo wyremontowali Sieniawscy. W dniu 19 maja 1794 r. zamek w Rytwianach był kwaterą Tadeusza Kościuszki.
Rozbiórka budynków zamkowych nastąpiła w 1859 roku, gdy Rytwiany były własnością Potockich.
W latach 2013–2014 zrewitalizowano rejon ruiny zamkowej, tworząc park historyczno-edukacyjny.
Badania W 1986 r. prof.