W 1947 do Zełwąg zaczęli powracać mężczyźni. Jednocześnie pogarszały się stosunki z przybywającą tu polską ludnością napływową. W związku z licznymi kradzieżami, kury hodowane przez mormonów były zanurzane przez nich w wodach jeziora Inulec w szczelnych, metalowych konstrukcjach działających na zasadzie dzwonu nurkowego. Zimą pojemniki te spuszczane były do wykonanych w pokrytym lodem jeziorze przerębli. Doprowadziło to do powstania wśród ludności napływowej legendy o zatopieniu przez mormonów w jeziorze skarbu, m.in. złotych tablic z umieszczonymi na nich zasadami tego wyznania. W 1947 zostało ogłoszone przesiedlenie mormonów do Niemiec i wyznaczono dokładny termin wyjazdu. W dniu zbiórki spakowali oni swój dobytek i udali się na stację kolejową, lecz na miejscu poinformowano ich, że akcja została odwołana. Po powrocie do wioski zastali swoje domy już splądrowane przez ludność polską. Miejscowa gmina mormońska skupiała wówczas 121 członków. W wyniku II wojny światowej i opuszczenia wsi przez wielu rdzennych mieszkańców Kościół podupadł, choć nabożeństwa wciąż się odbywały.