Ich populację zdziesiątkowały wojny rosyjsko-szwedzkie, które trwały praktycznie nieprzerwanie w latach 1558–1595, 1610–1617, 1656–1658, 1700–1721 i liczne klęski głodu, do których przyczyniła się mała epoka lodowcowa.
W okresie przynależności Ingrii do Szwecji (1617–1721) nastąpił napływ fińskich kolonistów. Pogłębiało się zacofanie kulturalne Wotów, którzy w 100% byli analfabetami, a Finowie Inkerscy w ciągu 150 lat stworzyli w pełni piśmienne społeczeństwo. Z powodu różnic religijnych, luterańscy Finowie niechętnie żenili się i utrzymywali kontakty z prawosławnymi Wotami i Iżorami. Po zajęciu w 1702 roku Ingrii przez cara Piotra Wielkiego, doszło na dużą skalę do kolejnych fal deportacji miejscowej ludności, która zastąpiono przybyszami ze środkowej Rosji, które szczególnie dotknęły Wotów, przez co zostało ich mniej niż 15 tysięcy, a ich język stopniowo zanikał pośród o wiele liczniejszych od nich Finów i Rosjan.
W 1848 liczbę Wotów posługujących się swoim językiem obliczano na 5147 osób. W 1926 było to już tylko 705 osób, tymczasem w 1989 pozostało ich już zaledwie 62, przy czym najmłodsza z tych osób urodziła się w 1930.