Działalność na okupowanej Wileńszczyźnie Wiosną 1941 otrzymał przydział do Einsatzkommando 3, następnie w okresie między październikiem 1941 r. a lipcem 1944 r. pełnił funkcję oficera łącznikowego w referacie żydowskim urzędu komendanta policji bezpieczeństwa i SD w Wilnie oraz pełnił rolę koordynatora działań wobec miejscowej ludności żydowskiej i osadzonych w więzieniu na Łukiszkach.
Mimo niskiego stopnia (SS-Hauptscharführer) miał nieograniczoną przez zwierzchników władzę, przez co stał się de facto zarządcą wileńskiego getta. Wyróżniał się wyjątkowym okrucieństwem zarówno podczas egzekucji, jak i inspekcji posterunków przy bramie getta, które często kończyły się śmiercią kontrolowanych przechodniów.
W latach 1941–1943 dowodził złożonym z litewskich kolaborantów oddziałem specjalnym SD i policji bezpieczeństwa w Wilnie (Sonderkommando der Sipo und SD), znanym także pod litewską nazwą Ypatingasis būrys. Jednostka ta wymordowała około 80 tys. osób, w większości Żydów, podczas masowych egzekucji w podwileńskich Ponarach. Weiss bezpośrednio nadzorował przebieg tej zbrodni. Każdorazowo uczestniczył w większych egzekucjach, a ponadto zdarzało się, że osobiście kierował plutonem egzekucyjnym i własnoręcznie dobijał rannych.