Ciekawą postacią zamieszkująca dobra nieświeskie był Karol Stanisław Radziwiłł (Panie Kochanku), przeciwnik Stanisława Augusta Poniatowskiego, znany z przepychu i rozpustnego życia. Antoni Zaleski udekorował żółte fasady budynku barokowymi stiukami. Odbudowano XVI-wieczne bramy zamkowe, a dwupoziomową wieżę strażnicy zwieńczono hełmem. Nadbudowano też arsenał. W ten sposób trzy oddzielne budowle otaczające centralny dziedziniec zostały połączone w jedną całość.
Podczas konfederacji barskiej w 1770 r. zamek został zajęty przez Rosjan, a Radziwiłłowie zostali wygnani. Nieco później ich archiwa zostały przewiezione do Petersburga (gdzie znajdują się do dziś), a większość zebranych w pałacu dzieł sztuki została podzielona między rosyjskich szlachciców. Opuszczone przez rodzimych właścicieli i wojska rosyjskie dobra nieświeskie zaczęły popadać w ruinę.
W 1785 r. na zamek przybył król Stanisław August Poniatowski.
Okres rozbiorów Armia Rosyjska po raz kolejny przejęła posiadłość po 1812 roku, w odwecie za udział ówczesnego ordynata Dominika Hieronima Radziwiłła w wyprawie na Moskwę (stał na czele własnego pułku jazdy).