W okresie II wojny światowej, w dworku odbywały się tutaj szkolenia dla Hitler-Jugend oraz przez pewien czas znajdował się tu przejściowy obóz dla dzieci polskich (poddawanych germanizacji). Polscy mieszkańcy zostali wysiedleni, a na ich miejsce sprowadzono Niemców ze Śląska i Wołynia. W latach 1941–1945 zarządcą majątku Borek był Adam Leon Czarliński (1870-1956), wysiedlony ze swojego majątku w Zakrzewku, zasłużony działacz niepodległościowy.
Okres PRL-u Po II wojnie światowej majątek został przejęty przez Skarb Państwa Polskiego i dworek powrócił do funkcjonowania jako szkoła. Trwało to do roku 1989. W latach 1975–1998 miejscowość administracyjnie należała do województwa toruńskiego. W roku 1978 Borek stał się częścią wsi Skłudzewo (czasami określany jako Skłudzewo-Borek).
Czasy obecne Od 1989 dworek w Skłudzewie jest siedzibą Fundacji Piękniejszego Świata, z inicjatywy której odbywają się w Skłudzewie wystawy i warsztaty plastyczne. Dla potrzeb mieszkańców jedno pomieszczenie pałacyku zostało przekształcone na kaplicę, podlegającą łążyńskiej parafii rzymskokatolickiej.