Z klubu odszedł po rundzie jesiennej sezonu 1969/1970.
Polonia Bytom W rundzie wiosennej sezonu 1969/1970 bez porozumienia w działaczami Motoru Lublin, przeniósł się do Polonii Bytom, w barwach której 3 kwietnia 1971 roku w przegranym 1:2 meczu u siebie ze Stalą Mielec1971-04-03 Polonia Bytom - Stal Mielec 1-2, zadebiutował w ekstraklasie. W sezonie 1972/1973 dotarł do finału Pucharu Polski, w którym Skromny nie grał, a jego klub 17 czerwca 1973 roku na Stadionie im. 22 lipca w Poznaniu przegrał po serii rzutów karnych (bezbramkowy remis po dogrywce) z Legią Warszawa. W sezonie 1975/1976 klub zajmując ostatnie – 16. miejsce, spadł z ekstraklasy, jednak w sezonie 1976/1977 wrócił do niej, po wygranej Grupy Południowej, a także awansował do finału Pucharu Polski, w którym nie grał, a jego klub 21 lipca 1977 roku na Stadionie Śląskim w Chorzowie przegrał 1:0 z Zagłębiem Sosnowiec. W sezonie 1977/1978 rozegrał 1 mecz – swój ostatni mecz w ekstraklasie, który miał miejsce 24 lipca 1977 roku w wygranym 3:0 meczu z Odrą Opole, w którym w 69.