Józef hrabia Ossoliński, wojewoda wołyński, licznych tu włości (...) pan, i dług śmiertelności wypłaciwszy, w tym od siebie wymurowanym kościole kazał się pochować.

W 1786 r. – Rymanów po raz kolejny stał się posagiem i po ślubie Teresy Ossolińskiej z Józefem Potockim przeszedł w ręce Potockich. Małżeństwo mieszkało na stałe w Wiedniu, a zamek w tym czasie mocno już podupadł. W 1794 r. Anna Teresa Potocka z Ossolińskich odsprzedała Rymanów rodzinie Potockich, w której posiadaniu był do XX w. Anna Potocka z Działyńskich wybudowała w XVIII w. Szkołę Snycerską w Rymanowie, jednak po cofnięciu dotacji przez Sejm zaprzestała szkolenia.

W 1798 r. – miasto kupił Franciszek Skórski. Postanowił jednak nie inwestować w zamek, który wymagał ogromnych nakładów finansowych. Po reformie administracyjnej w 1864 Rymanów został siedzibą powiatu sądowego i urzędu gminy Rymanów starostwa sanockiego w austriackim kraju koronnym Galicja.

W 1839 r. w wyniku ogromnego pożaru wywołanego przez Żydów, którzy podpalili gospodarcze zabudowania należące do proboszcza, zniszczeniu uległ kościół (odbudowany został w 1841 r.), niemal całe miasto oraz kilka sąsiednich wsi.