Na przełomie 1363-1364 roku Władysław Biały zastawił za 1000 florenów polskiemu królowi Kazimierzowi Wielkiemu całe księstwo gniewkowskie wraz z Gniewkowem i Szarlejem.
Kronikarz Janko z Czarnkowa zanotował, że w czasach panowania króla Ludwika Węgierskiego zamki we Włocławku, Złotorii, Gniewkowie i Szarleju we wrześniu 1373 roku opanował Władysław Biały, który w tym celu wrócił na Kujawy z Dijon we Francji. Janko z Czarnkowa przy opisywaniu tych wydarzeń napisał, inexpugabile castrum Sarley - czyli o niedostępnym/niemożliwym do zdobycia siłą zamku Szarlej. Dodał także, że podczas zajmowania zamku załoga zamku zabiła w bramie niejakiego Twocha "...praeter unum solum, nomine Twoch, qui ducem praecedens castrum Sarley intrare voluit, quem castrenses ibidem in valva castri occiderunt" ("z wyjątkiem jednego, imieniem Twoch, który chciał wejść do zamku Sarley przed księciem i którego żołnierze zabili przy bramie zamku").
Władysław Biały zajmował Szarlej krótko, ponieważ wobec szybkiej reakcji lojalnej wobec Ludwika szlachty wielkopolskiej i kujawskiej dowodzonej przez Sędziwoja z Szubina, zmuszony był poddać zamekJoannis de Czarnkow, Chronicon Polonorum, wyd. J. Szlachtowski, [w:] Monumenta Poloniae Historica 3, Lwów 1872, s. 654-655..
W latach 1378-1391 Szarlej należał wraz z Gniewkowem do księcia Władysława Opolczyka.