Pomiędzy 1523 a 1576 parafia utraciła wsie Bałuty i Radogoszcz, które weszły do parafii w Zgierzu. Z kolei przyłączono do parafii WNMP wsie: Rokitnicę, Mierzączkę i Hutę (do tej pory będące w parafii z Pabianic).
Podczas potopu szwedzkiego kościół ocalał, mimo iż w Łodzi spalonych zostało przez Szwedów 25 domów. Przyczyną tego było położenie świątyni na uboczu miasta. Jako wotum dziękczynne za ocalenie, parafianie zakupili obraz Matki Boskiej Łaskawej.
Na początku XVIII w. kościół był w bardzo złym stanie. Parafia nie była już w stanie utrzymać duszpasterza. Liczba mieszkańców znacząco spadała (do 530 w 1754). Pola uprawne Rogów, Dołów i Lipin, na skutek zaprzestania uprawiania, zarosły lasem. Kolejni proboszczowie (ks. Przyborowski, ks. Brusikiewicz, ks. Szafrański, zmarły w 1754) nie mieli środków na remonty kościoła. Przez kilka kolejnych lat w Łodzi nie było księdza. W 1763 proboszczem był ks. Karol Godaczewski, który nie mieszkał przy kościele, bo był też proboszczem w Srocku i posiadał kanonię w kolegiacie łęczyckiej, na co miał zgodę Stolicy Apostolskiej.