Król Stanisław August Poniatowski podjął działania zmierzające do uporządkowania terenów na prawym brzegu Wisły i zaproponował kapitule płockiej zamianę dóbr skaryszewskich na inne, którą zatwierdził sejm w 1766.
W 1780 Stanisław August Poniatowski objął formalnie w posiadanie dobra i odstąpił je swemu bratankowi, podskarbiemu wielkiemu litewskiemu, księciu Stanisławowi Poniatowskiemu. Ten jeszcze w tym samym roku założył kolonię Grochów, podzielił ją na osiem części i nadał różnym osobom. Podział ten utrzymywał się jeszcze na początku XX wieku, co znajduje odzwierciedlenie w księgach hipotecznych przy podawaniu dawnej nomenklatury:
Grochów I nadano przywilejem z 30 grudnia 1784 roku kasztelanowi chełmińskiemu Janowi Dziewanowskiemu. W 1819 roku nabył go hr. Bruno Kiciński, wydawca i tłumacz. Później przeszedł na własność Karola Osterloffa.
Grochów II nadano przywilejem z 6 stycznia 1790 roku Janowi Millerowi, administratorowi dóbr ks. Stanisława Poniatowskiego. W 1880 roku należał do Władysława Hermana.
Grochów III nadano przywilejem z 12 stycznia 1785 roku księdzu Wichertowi, kustoszowi inflanckiemu. W 1880 roku należał wraz z poprzednią częścią dóbr do Władysława Hermana, zaś pałacyk wraz z ogrodem przeszedł w posiadanie Mathiasa Bersohna.