Po upadku powstania, w zamku umieszczono więzienie dla schwytanych jego uczestników. Miasto w tym czasie liczyło około 20 tys. mieszkańców. Zaczęła się też kolejna fala rusyfikacji, m.in. wyburzano kościoły np. dominikanów, a gotycką farę przebudowano na cerkiew. W 1866 Rosjanie wydali zakaz mówienia po polsku w życiu publicznym, dlatego spotykano się potajemnie w domach mieszczańskich by organizować spotkania teatralne, muzyczne i literackie. Ogólny upadek miasta zahamowało w 1861 przeprowadzenie linii kolei Warszawsko-Petersburskiej. W 1870 poświęcono cerkiew św. Aleksandra Newskiego. Wiele zabytków zostało bezpowrotnie zniszczonych w wyniku pożaru w 1885. W latach 1894–1910 w mieście mieszkała Eliza Orzeszkowa, aktywnie powstrzymująca rusyfikację.
W 1905 Rosjanie wybudowali cerkiew Opieki Matki Bożej, ku czci żołnierzy rosyjskich poległych w wojnie rosyjsko-japońskiej. Dzięki inicjatywie mieszkańców w 1907 zainstalowano pierwsze telefony. W 1909 powstał most żelazny przez Niemen, a w 1912 miasto zelektryfikowano.