Dwa lata później w roku 1976, pod wodzą późniejszego selekcjonera reprezentacji Wojciecha Łazarka, klub awansował do II ligi, gdzie grał tylko jeden sezon i spadł do III ligi, w której pozostał przez kolejne cztery sezony. W pierwszym sezonie występów na II-go ligowych boiskach udało się zawodnikom odnieść kolejny sukces. W meczu 1/16 Pucharu Polski elbląska Olimpia wygrała z I-ligowym ROW Rybnik 1-0 (po dogrywce). Tym samym klub odniósł największy sukces w tych rozgrywkach, awansując do 1/8 finału. Do dziś nie udało się elblążanom powtórzyć tego wyniku. W następnym spotkaniu PP los zetknął „Związkowych” z Wisłą Kraków. Znakomicie radząca sobie na I-ligowych boiskach Wisła, pokonała elbląskiego drugoligowca dopiero po dogrywce 1-0. Dopiero w sezonie 1979/80, udało się drużynie zajść w tych rozgrywkach wyżej niż ponad I rundę, a mianowicie zagrać w 1/16 finału. Okres lat 70. był preludium do kolejnej dekady. Olimpia odniosła pierwsze znaczące sukcesy, ale lata 80. miały okazać się jeszcze bardziej pomyślne dla klubuSławomir Kapłon, Piłkarska Olimpia. Z dziejów sekcji piłki nożnej klubu sportowego Olimpia Elbląg., s. 110–145..