Historia miasta jest związana z wydobyciem rud srebra, ołowiu, a później również cynku. Wydobycie prowadzono już w II wieku n.e. Według legendy, pierwszą bryłę kruszcu srebronośnego wyorał chłop Rybka ok. 1490 roku, co w 1612 roku w swoim dziele Officina ferraria zanotował Walenty Roździeński następującymi słowami „Srebrny kruszec w Bytomiu, na górach wnet nastał, Iny zasię od kruszca w mili zalanego, znaleziony przez chłopa Rybkę niejakiego”. Od tego czasu na teren dzisiejszego miasta zaczęli przybywać osadnicy, powstawały pierwsze osady górnicze.
Ówczesny właściciel ziem, Jan II Dobry, książę opolsko-raciborski, oraz margrabia Jerzy von Ansbach w 1526 roku nadali swoim włościom (a więc również terenom, na którym powstało przyszłe miasto) przywilej wspierający górnictwo, tj. „akt wolności górniczej”. W 1528 roku ogłosili oni akt uzupełniający prawodawstwo górnicze, tzw. Ordunek Gorny i odtąd (od 31 października 1528 roku) pierwsi urzędnicy zaczęli prowadzić rachunki tarnogórskiego górnictwa, zaś pierwsze księgi kopalniane od 1529 roku, odkąd tarnogórski Urząd Górniczy otrzymał własną pieczęć i herb (9 marca 1529 roku)E. L. G. Abt, Memoriał w sprawie kopalnictwa rud ołowiu i srebra na Górnym Śląsku. Tłum. S. Majewski, Katowice 1957, s. 23..