Z tego powodu władze należącej do rządu Prus kopalni postanowiły wydzierżawić od dziedzica Starych Tarnowic, Johanna Gottlieba von Büttnera, teren o powierzchni 13 jutrzyn i 63 sążni kwadratowych położony przy drodze biegnącej z Tarnowskich Gór (współcześnie ulica Kardynała Stefana Wyszyńskiego).

W 1799 stworzono plan przyszłej kolonii zakładający budowę sześciu identycznych domów mieszkalnych. Dodatkowo w centralnej części kolonii miała powstać cechownia z ogrodem i stajnią, niewielka remiza oraz studnia. Umowę dzierżawy terenu podpisano 11 stycznia 1801 roku. Ostatecznie wybudowano 7 domostw, których koszt budowy wyniósł 250 talarów za dom. Pierwsze trzy domy oraz głęboką na 80 metrów studnię zbudowano już w 1801 roku, w 1804 roku – kolejne dwa domy oraz remizę, zaś cechownię i szósty dom wzniesiono w 1807 lub 1808 roku.

Do Kolonii Wolności przynależał istniejący w latach 1864–1886 szpital na Lyszczu. Był to budynek prostokątny, parterowy, dwutraktowy z pięcioosiową elewacją frontową i dachem naczółkowym. Rozebrany został po II wojnie światowej.

Mieszkańcy Kolonii, zobowiązani do pracy w kopalni, zwolnieni zostali z pańszczyzny, korzystali więc z tzw. „wolności górniczej”, skąd wzięła się pierwotna nazwa osady.