Prawa do miejscowości przeszły na jego brata Mikołaja Swarożyńskiego, który sprzedał ją za 3000 talarów bratu opata w Pelplinie, Krysztofowi Rembowskiemu, który posiadał już Sumin i Sycymin pod Pogutkami. Plotka głosiła, że cała transakcja była tylko grą pozorów, a w rzeczywistości ksiądz opat wyznaczył Kaldeling jako posag dla Doroty - córki Alberta Rembowskiego (Krysztof Rembowski był jego stryjem) - która miała zostać żoną Michała Konarskiego. Michał Konarski był starostą czarnińskim (hamersztyńskim), a następnie kasztelanem gdańskim i województwa pomorskiego. Cała ta sprawa była potem powodem długiego procesu przed sądem wojewódzkim i przed trybunałem. W efekcie trafiła przed sejm, gdyż klasztor posiadał wieś szlachecką i kupując ją zobowiązał się pełnić służbę wojenną, ale się z tego nie wywiązał. Sejm sprawy nie rozstrzygnął i było to powodem późniejszych ugód. W roku 1619 klasztor zapłacił właścicielce Dorocie (wówczas już wdowie po Michale Konarskim) 14 tysięcy złotych. i odebrał majątek. Trzy lata później (nie wiadomo, dlaczego - być może ojcom cena ta wydała się zbyt wysoka) klasztor odstąpił jednak swoje prawa do Kaldeling Dorocie i jej synowi Stanisławowi, otrzymując 4 tysiące złotych.