W sezonie 1950 Garbarni (Związkowcowi) udało się zająć wysokie szóste miejsce w tabeli. Kolejne podejście do ekstraklasy w następnym roku (1951) było znacznie mniej udane i Garbarnia po zajęciu przedostatniej lokaty spadła do II ligi. W tym samym sezonie Brązowi dotarli do ćwierćfinału Pucharu Polski, gdzie ulegli późniejszemu finaliście Wiśle Kraków.

W 1951 roku Zrzeszenie „Związkowiec” rozwiązano a Garbarnia połączyła się z Koroną Kraków tworząc Koło Sportowe „Włókniarz”. Piłkarze z Ludwinowa w następnym roku zwyciężyli swoją grupę drugoligową i byli bliscy powrotu na najwyższy poziom rozgrywek, jednak w barażu o awans do I ligi okazali się słabsi od Budowlanych Opole (2:3 na wyjeździe i 1:1 przed własną publicznością). Kolejny sezon był dużo mniej udany a krakowianie utrzymali się w II lidze tylko lepszą różnicą bramek od rywali. Poszerzenie składu ekstraklasy w kolejnym sezonie pozwoliło Garbarni awansować po zajęciu 3. miejsca w II lidze.