We współczesnym westernie Johna Sturgesa Czarny dzień w Black Rock (Bad Day at Black Rock, 1955) został obsadzony w roli milczącego troglodyty Hectora Davida, przeciwnika Spencera Tracy. W dramacie wojennym The Rack (1956) z Paulem Newmanem wystąpił w roli kapitana Johna R. Millera. Jako odznaczony weteran walk Marvin doskonale odnalazł się w dramatach wojennych, gdzie często pomagał reżyserowi i innym aktorom w realistycznym przedstawianiu ruchu piechoty, układaniu kostiumów i użyciu broni palnej. W Hollywood szybko stał się specjalistą od czarnych charakterów, drugoplanowych ról zabójców, psychopatów i brutali.
Od 20 września 1957 do 21 czerwca 1960 grał rolę uczciwego i twardego detektywa porucznika Franka Ballingera z jednostki specjalnej policji w Chicago, pomagającego innym jednostkom w walce z przestępczością zorganizowaną w serialu kryminalnym NBC M Squad. Przez rok po ukończeniu serialu nie otrzymał żadnych ofert i popadł w głęboką depresję. Ujawnił temperament komediowy jako Tully Crow w westernie Michaela Curtiza W kraju Komanczów (The Comancheros, 1961) u boku Johna Wayne’a. Zwrócił na siebie uwagę jako czarny charakter w roli sadystycznego bandyty Liberty Valance’a w westernie Johna Forda Człowiek, który zabił Liberty Valance’a (The Man Who Shot Liberty Valance, 1962) z Johnem Wayne’em i Jamesem Stewartem.