W 2 połowie XIII wieku, prawdopodobnie za panowania Bolesława Wstydliwego, w obrębie grodu wzniesiono kamienny stołp – wieżę, istniejącą do dziś. W 1349 Kazimierz Wielki dobudował do niej zamek, który składał się początkowo z zamku górnego (ta część – po przebudowach – istnieje do dziś) otoczonego dwoma pierścieniami murów, oraz dolnego, z bramą wjazdową od strony północnej (do dziś zachowane dolne partie murów). W 1349 wymieniony jest pierwszy burgrabia będziński Wiernko (Vernco), co wskazuje jednoznacznie, że w tym czasie zamek musiał już stać. Także przywilej lokacyjny (1358) zawiera słowa, że miasto lokowane jest „pod zamkiem naszym”. Budowa zamku związana była ściśle z utratą Śląska i jego przejściem pod panowanie czeskie (1348) – granica między Koroną Polską a Czeską przebiegała wówczas po linii Czarnej Przemszy, a więc u samego podnóża zamku.
W 1458 tenutariuszem zamku był Stanisław z Pogórzyc, w latach 1462–70 Szczepan Pogórski z Pogórzyc, a w latach 1492–1499 Benedykt alias Bieniasz Pogórski. W 1502 król polski Aleksander Jagiellończyk zezwolił Stanisławowi Jarockiemu z Jaroszyna staroście sławkowskiemu wykupić zamek oraz miasto królewskie Będzin wraz z wsiami z rąk Bieniasza Pogórskiego.