W 1658 miała tutaj miejsce bitwa, w której wojska Dołgorukiego pokonały siły polskie hetmana Wincentego Gosiewskiego. Można podejrzewać, że pałac został uszkodzony, ponieważ od tego momentu zaczął popadać w ruinę. Odbudowę przeprowadził biskup wileński Konstanty Kazimierz Brzostowski, który ok. 1700 kazał rozebrać chylący się ku upadkowi dwór poprzedników i na jego miejscu wzniósł pałac barokowy, murowany. Zbudowany był na planie kwadratu i posiadał baszty narożne, przez co często określano go mianem zamku. W 1705 biskup gościł w nim cara Piotra WielkiegoKs. Wincenty Przyałgowski, Żywoty biskupów wileńskich. Petersburg 1860, tom III, s.105..
Pałac biskupa Massalskiego mały|244x244px|Pałac i oficyny przed wyburzeniem głównego korpusu (1840) mały|244x244px|Główny korpus (wyburzony po 1840 r.) W 1762 biskupem wileńskim został Ignacy Jakub Massalski, postać ówczesnej sceny politycznej, m.in. przewodniczący Komisji Edukacji Narodowej, ale też członek Rady Nieustającej i współautor traktatu rozbiorowego z 1793, powieszony podczas insurekcji kościuszkowskiej. Werki wywarły na nim wielkie wrażenie, w 1779 podpisał umowę z kapitułą wileńską o zamianie dóbr, pozyskując w ten sposób Werki dla siebie i swej rodziny.