Czołg wyposażony był w armatę D-25T kalibru 122 mm znaną z czołgu IS-2. Zastosowanie tej armaty było jednak pewnym mankamentem tego czołgu, gdyż charakteryzowała się ona niezbyt dużą prędkością początkową pocisku i w rezultacie jej możliwości przebicia pancerza, pomimo dużego kalibru, odpowiadały niemieckiej armacie 75 mm z długą lufą, zastosowanej m.in. w niemieckim czołgu Panther. Ponadto, z powodu dużych i ciężkich nabojów, szybkostrzelność armaty była niska, a zapas przewożonej amunicji – niewielki.
W trakcie służby czołgi IS-3 były kilkakrotnie modernizowane. Pierwsza modernizacja nastąpiła w latach 1952–1953. Obejmowała ona wzmocnienie mocowania silnika i skrzyni biegów. Wzmocniono również pancerz pod wieżą. Wozy otrzymały nowe radiostacje. W wyniku modernizacji masa pojazdu wzrosła do 48 800 kg. Następna modernizacja miała miejsce w końcu lat 50. XX wieku. Zmodernizowane pojazdy od 1960 nazywano IS-3M lub IS-3M model 1960. Modernizacja obejmowała wzmocnienie kadłuba czołgu. Unowocześniono układ napędowy: zamiast silników W-11 montowano silniki W-54K-IS o mocy 520 KM, które były odmianą silników stosowanych w czołgach T-54. Zamontowano również nowe przyrządy obserwacyjne, w tym noktowizory.