W XVII wieku proces rozdrobnienia ziemi w tej wsi postępował jeszcze bardziej. Kołaki Kościelne stały się typową wsią zaściankową. Poziom życia tej szlachty niewiele ustępował poziomowi chłopów, ale korzystali oni w pełni ze swoich praw szlacheckich. W 1698 roku na polu elekcyjnym pod Warszawą stawiło się aż 23 Kołakowskich, z których większość pochodziła właśnie z Kołaków Wielkich. Bardzo popularne było wśród nich imię Wojciech, naliczono aż czterech Wojciechów Kołakowskich na wspominanej elekcji.
W końcu XVII wieku wielu Kołakowskich wyjechało na Ukrainę. Notowani są na Rusi Czerwonej. W tym czasie ziemia w Kołakach coraz częściej przechodziła na własność innych rodów. Za sprawą sprzedaży i posagów, część gruntów przeszła na własność innych ubogich rodów szlacheckich, często z sąsiednich wsi.
W XVIII wieku Kołakowscy zubożeli już tak bardzo, że na elekcji królewskiej z 1764 roku pojawił się tylko Bonifacy Kołakowski z tej wsi. Kołakowscy byli dobrodziejami miejscowego kościoła w Grudusku. Według wizytacji kościelnej z 1775 roku niejaki Kazimierz Kołakowski ofiarował dwa czerwone złote na odmalowanie chrzcielnicy w Grudusku.Dokładniejszych danych o stosunkach własnościowych w Kołakach dostarcza spis właścicieli ziemskich z 1783 roku.