Według różnych źródeł władze rosyjskie odebrały majątek albo w 1837 Lucjanowi Stypułkowskiemu, za udział w powstaniu listopadowym, albo w 1853 jego siostrom Kornelii, Józefie i Serafinie, do których Zaosie należało po wyjeździe z Rosji Lucjana. Po 1863 majątek został rozparcelowany i rozdany byłym żołnierzom carskim. W kolejnych dziesięcioleciach dworek podupadał. Słownik geograficzny Królestwa Polskiego z 1895 już o nim nie wspominał. Do początku XX w. przetrwał m.in. spichlerz. Resztki zabudowań dworskich zostały zniszczone podczas I wojny światowej, gdy przez trzy lata w okolicy Zaosia przebiegała linia frontu. Skorowidz miejscowości Rzeczypospolitej Polskiej z 1921 wymienia folwark Zaosie jako zniszczony i niezamieszkały.
W 1927 Wojsko Polskie z garnizonu Baranowicze wzniosło tu pomnik z brązu poświęcony Adamowi Mickiewiczowi. Został on odrestaurowany w 1955 i rozebrany podczas odbudowy dworu.
W związku ze zbliżającą się 200. rocznicą urodzin wieszcza, w latach 1996-1998 dwór z towarzyszącymi mu zabudowaniami zostały zrekonstruowane w oparciu o ryciny Edwarda Bonifacego Pawłowicza z 1843. Budynek wybudowany został na odkrytych przez archeologów fundamentach oryginalnego dworu.