Natomiast w szczycie (frontonie) elewacji ogrodowej herby: Trąby Macieja Józefa Radziwiłła i Ślepowron jego żony Jadwigi Krasińskiej.
Najpierw Radziwiłłowie zamieszkali w Zegrzu jednak po sprzedaniu części terenu dworskiego, który przeznaczono na budowę fortecy, przenieśli się do Jadwisina. Do wybuchu II wojny światowej pałac stanowił ich rezydencję. Podczas wojny na terenie parku byli tymczasowo grzebani żołnierze obu walczących stron.
Po II wojnie światowej przeszedł w ręce Ministerstwa Oświaty. Około 1960 zlokalizowano w nim strzeżony ośrodek wypoczynkowy Urzędu Rady Ministrów. Obiekt był kilkakrotnie przebudowywany. W 2009 w pałacu znajdował się Ośrodek Szkoleniowo-Wypoczynkowy Kancelarii Prezesa Rady Ministrów.
W 2007 wystąpił o zwrot posiadłości wraz z pałacem syn ostatnich właścicieli Albert Hieronim Radziwiłł. Do zwrotu doszło w 2016, a następnie pałac został sprzedany osobie prywatnejInformacja o sprzedaży pałacu na stronie fakt.pl. Nazwa pałacu została potem zmieniona z pałacu Radziwiłłów na pałac Jadwisin.