W 1745 roku dobra te zakupił hrabia Franciszek Ludwik z bytomskiej linii Henckel von Donnersmarck. Szukał on nowej siedziby, bowiem wcześniej skonfiskowano mu siedzibę w bytomskim ratuszu. Hrabia powiększył folwark oraz przebudował dwór na pałac. Prawdopodobnie nazwa Karłuszowiec (Carlshof) pochodzi od imienia ojca hrabiego – Karola Józefa. W pałacu znajdowały się: dom dla rodziny hrabiego, siedziba zarządu majątku oraz kaplica. Proboszcz tarnogórski toczył jednak spór z proboszczem tarnowickim o to, któremu ma podlegać kapelan. Sąd biskupi uznał, że tarnogórskiemu.
Franciszek Ludwik zmarł w 1768, a spadkobiercą został jego młodszy brat Łazarz III. Zamieszkał on jednak z rodziną w pałacu w Siemianowicach. W rezydencji na Karłuszowcu pozostała wdowa, hrabina Leopoldyna von Sobeck und Kornitz, która zmarła w 1792 r.
Kolejnymi mieszkańcami na Karłuszowcu była rodzina de La Valette d’Uclaux spokrewniona zarówno z rodziną Henckel von Donnersmarck, jak i z rodziną von Sobeck und Kornitz. W 1863 r. po wygaśnięciu rodu hrabiów de La Vallete d’Uclaux, Donnermarckowie przenieśli do Karłuszowca zarząd swoich dóbr (wcześniej znajdował się on w Siemianowicach).