mały|Model fragmentu miasta z zamkiem Władysław opolski zmarł w 1281 roku, a księstwo zostało podzielone pomiędzy jego czterech synów. Powstało wówczas księstwo bytomskie, którego pierwszym władcą został Kazimierz bytomski. Wzniósł on w mieście zamek. W 1312 Bytom przypadł w schedzie po Kazimierzu bytomskim jego synowi Siemowitowi. W 1316 r. w nieznanych bliżej okolicznościach książę kozielski – Władysław pozbawił Siemowita władzy nad Bytomiem. Księstwo bytomskie zostało przyłączone 7 kwietnia 1348 do Świętego Cesarstwa Rzymskiego przez króla Czech Karola IV Luksemburskiego. Około 1352 r. zmarł Władysław, a Bytom przypadł w spadku jego synowi Bolesławowi bytomskiemu. Bolesław władał Bytomiem do swojej śmierci, tj. do 1354/1355 i wraz ze śmiercią księcia Bolka wygasła bytomska linia Piastów. Księstwo bytomsko-kozielskie, po śmierci Bolesława, na mocy umowy zawartej jeszcze za życia ojca Władysława, przypadło najbliższym krewnym księcia, tj. księciu oleśnickiemu Konradowi I oraz księciu cieszyńskiemu Przemysławowi I. Odtąd księstwo kozielskie stanowiło dziedziczną domenę książąt oleśnickich, a księstwo bytomskie stanowiło dobro wspólnej ręki książąt oleśnickich i książąt cieszyńskich.