Znajdowały się w nich duże, półokrągłe okna pośrodku, a po bokach – dwa małe okulusy.

Z czasem do bocznej elewacji prawego skrzydła dobudowano drewnianą, przeszkloną werandę, a w XX wieku dostawiono do lewego skrzydła szpecącą pałac przybudówkę.

Jednocześnie z pałacem wzniesiono dwa duże budynki, zaprojektowane prawdopodobnie też przez Wawrzyńca Gucewicza, o czym świadczyć może ich klasycystyczny styl. Jeden z nich pełnił rolę oficyny, w drugim mieściły się stajnie. Budynki te, wraz z lodownią zachowały się do dziś.

W pobliżu pałacyku znajdowały się szklarnie, w których hodowano rośliny egzotyczne. Dom i oranżerie stały wśród parku bogatego w liczne stare drzewa.

Po I wojnie światowej majątek został rozparcelowany przez władze litewskie. Przez krótki czas, gdy Czabiszki znalazły się na terytorium Rzeczypospolitej Polskiej, w pałacyku urządzono sierociniec. Podczas II wojny światowej, mimo że w latach 1944–1945 działała tu kwatera partyzancka, pałac nie został uszkodzony i po wojnie nadal mieścił się w nim dom dziecka oraz szkoła podstawowa dla dzieci specjalnej troski. W 2011 roku szkołę zamknięto, pałac opustoszał i zaczął popadać w ruinę.