Po tych wydarzeniach przystąpiono do budowy murowanego zamku.
W dokumencie wydanym przez króla Belę IV w 1262 roku po raz pierwszy wspomina się zamek jako castrum Sarus, należał on wtedy do domeny królewskiej. Od ostatniego z Arpadów Andrzeja III zamek otrzymał palatyn Amadej Aba i prawdopodobnie stał się on jego główną siedzibą.
Podczas konfliktu synów Aby: Jana, Mikołaja, Dawida i WładysławaEugeniusz Janota, Zapiski o Bardyjowie i najbliższéj okolicy, [w:] Rocznik Cesarsko Królewskiego Towarzystwa Naukowego Krakowskiego, poczet III, tom VI (ogólnego zbioru t. XXIX), Kraków 1862, s. 283. z królem Karolem Robertem (będącego pokłosiem wcześniejszego buntu samego Amadeja i układania się przez niego z Mateuszem Czakiem) zamek był oblegany przez wojska królewskie. Pomimo kilkutygodniowego oblężenia załoga broniąca zamku nie poddała się, a działania wojenne zakończyła dopiero bitwa pod Rozhanovcami koło Koszyc 15 czerwca 1312 roku, w wyniku której wojska królewskie rozbiły buntowników. Po przegranej bitwie załoga zamku poddała się bez walki.