(rzekomo w tym samym roku 28 lutego Żośle otrzymały prawa miejskie) podarował je wojewodzie wileńskiemu Janowi Gosztołdowi. Po jego śmierci w 1458 r. przeszły we władanie syna, Marcina Gosztołda. W 1517 r. Goształdowie dokupili tam część ziemi aż do jeziora Żośle od niejakiego Sakowicza. Ostatnim spadkobiercą z tego rodu był Albert Gosztołd (zm. 1539), współtwórca Statutu Litewskiego i inicjatora tzw. Kroniki Bychowca.
Przez jakiś czas miała je dożywotnio Zofia Gosztołdowa. Po jej śmierci w 1549 r. król Zygmunt August zapisał je w dożywotnie użytkowanie swojej żonie Barbarze Radziwiłłównie (1520–1551) wraz z dworami w Daszuniszkach, Birsztanach i Żeżmarach. 1569 r. Żośle stanowiły uposażenie stołu królewskiego.
Potem utworzono tam starostwo. W 1612 r. Żoślami zarządzał Adam Tolwaisza (za jego czasów Żośle pojawiły się na mapie Wielkiego Księstwa Litewskiego z 1613 r.), następnie od 1646 r. starosta żmudzki Jan Łącki, a po nim od 1655 r. Michał Korf. W 1710 r. Żośle przypadły Mariannie Romerowej, a w 1737 r. Janowi i Annie Chreptowiczom. W 1766 r. posiadał je Joachim Chreptowicz, sekretarz, potem kanclerz wielki litewski. Dobra żosielskie należały później do Michała Zaleskiego, wojskiego litewskiego, a w 1850 r. do Antoniego Zaleskiego, w drugiej połowie XIX w. przeszły w wyniku przymusowej sprzedaży w ręce hr.