W celu znalezienia środków na zrównoważenie budżetu książę bytomski rozpoczął rozsprzedawanie swojego dziedzictwa. Najpierw w 1334 zastawił za cztery tysiące grzywien srebra księciu raciborskiemu Leszkowi księstwo kozielskie, z tym jednak zastrzeżeniem, że w przypadku jego bezpotomnej śmierci Koźle na powrót ma wrócić w granice księstwa bytomskiego. W 1336 Koźle powróciło do księstwa bytomskiego – książę Władysław bytomski wydzielił wówczas tę dzielnicę najstarszemu synowi Kazimierzowi, a po jego śmierci w 1342 kolejnym księciem kozielskim został jego młodszy brat Bolesław bytomski.

W 1355 po śmierci księcia Bolesława bytomskiego księstwo bytomsko-kozielskie zostało podzielone pomiędzy najbliższych krewnych książąt i cieszyńskich. W okresie tych ciężkich sporów mieszczanie Koźla złożyli hołd lenny księżnej Beatrycze, córce zmarłego księcia Władysława Bytomskiego. Ostatecznie Koźle z terenami okolicznymi przypadło książętom z linii Piastów oleśnickich – książę Konrad I oleśnicki.

Przed 1373 w Koźlu osiedlili się pierwsi Żydzi (zajmowali się działalnością kredytową).