Wg XIX wiecznej wzmianki Władysława Syrokomli po śmierci królewicza Kazimierza, późniejszego świętego, jego ciało przed pochowaniem w Wilnie spoczywało na zamku w Miednikach.
Być może zamek został zniszczony podczas wojny z Moskwą, która rozpoczęła się w 1512 roku, ponieważ w 1517 roku dyplomata Siegmund von Herberstein zanotował, że zamek jest już ruiną, którą pozostaje do dziśT. Polak, Zamki na Kresach, Warszawa 1997, s. 16.. Gdy zamek stał się siedzibą dóbr majątkowych, na jego terenie wzniesiono zabudowania dworu i towarzyszące im zabudowania gospodarcze.
Na początki XX wieku tutejszy majątek z siedzibą w Szumsku i ruiny zamku były własnością Elżbiety Komarowej. W okresie I wojny światowej okupacyjne wojska niemieckie rozebrały część muru zachodniego w celu pozyskania materiału do budowy drogi.
Po parcelacji, od 1923 r. zamek był własnością miejscowej parafii rzymskokatolickiej, która umieściła w nim budynki gospodarcze, przeciwko czemu protestował konserwator wileński Stanisław Lorentz.