Wielokrotnie aresztowany i skazywany za działalność komunistyczną, w tym w latach 1936–1938 w obozie w Berezie Kartuskiej, a następnie w więzieniu w Katowicach i Rawiczu.
W okresie okupacji sowieckiej Witold Kolski był zastępcą redaktora naczelnego wydawanego we Lwowie przez władze okupacyjne polskojęzycznego „Czerwonego Sztandaru”. To on podpisał i prawdopodobnie napisał artykuł Zgnieść gadzinę nacjonalistyczną opublikowany w trzy dni po aresztowaniu przez NKWD 24 stycznia 1940 grupy literatów: Władysława Broniewskiego, Aleksandra Wata, Tadeusza Peipera, Anatola Sterna, Herminii Naglerowej, Pawła Hertza, Teodora Parnickiego i innych atakujący aresztowanych za nacjonalizm. Zostali nazwani „niedobitkami najpodlejszego wroga rewolucji – agentury nacjonalizmu polskiego, ukraińskiego i żydowskiego”Grzegorz Mazur, Jerzy Skwara, Jerzy Węgierski, Kronika 2350 dni wojny i okupacji Lwowa 1 IX 1939 – 5 II 1946, Katowice 2007, Wyd. Unia Katowice, , s. 109.. Aleksander Wat określa Kolskiego w swoich wspomnieniach z tego okresu jako „człowieka o nieposzlakowanej opinii”.