Natomiast malarz Piotr, sprowadzony z Królewca do Małopolski w 1526 r., namalował prawdopodobnie fryz w skrzydle wschodnim (zachował się we fragmentach), z arkadami na kolumienkach i perspektywami renesansowych ogrodów. Malarz ten, pracujący dla księcia pruskiego Albrechta Hohenzollerna, przybył na prośbę braci Szydłowieckich, aby ozdobić ich zamki w Szydłowcu i Ćmielowie.
Barok thumb|Loggia thumb|Rzygacz zamkowy thumb|Lew na wieży thumb|Mur kurtynowy
W 1548 r. dobra szydłowieckie, wraz z zamkiem, przeszły w posiadanie Radziwiłłów, poprzez małżeństwo córki Krzysztofa, Elżbiety, z Mikołajem „Czarnym” Radziwiłła z linii nieświesko-ołyckiej. Pierwsi Radziwiłłowie rzadko i krótko bywali w Szydłowcu, w zamku rezydował jedynie pański namiestnik. Nowi właściciele miasta „hrabiowie na Szydłowcu” również dokonali przebudowy i rozbudowy zamku. Szczególna rola w modernizacji rezydencji przypadła urodzonemu w Ćmielowie Mikołajowi Krzysztofowi Radziwiłłowi, który dziedzicząc hrabstwo szydłowieckie okazywał dla Szydłowca szczególne zainteresowanie, o czym świadczą jego częste pobyty w mieście.