Programy odpowiadające za oczyszczanie danych mogą na przykład zniwelować niektóre rodzaje błędów, wprowadzić brakujące informacje lub zlokalizować zduplikowane dane.
Najważniejsze etapy oczyszczania danych Walidacja – inaczej weryfikacja czy surowe dane nie zawierają podstawowych błędów, które mogłyby zaburzyć równowagę całego procesu. Z tego powodu walidacja powinna być pierwszym krokiem w procesie oczyszczania danych, Formatowanie do wspólnej wartości (standaryzacja) – polega na sprowadzeniu do wspólnej wartości liczby użytkowników, którzy np. w wyszukiwarkę e-commerce wpisali frazy kluczowe oznaczające to samo, ale sformułowali je w inny sposób, np. odzież sportowa, ciuchy do ćwiczeń, ubrania sportowe, Czyszczenie duplikatów – eliminowanie zduplikowanych elementów powstałych w wyniku segregowania danych, Uzupełnianie brakujących danych vs. usuwanie danych niepełnych – w celu dokonania analizy potrzebna jest kompletna baza danych, należy więc dodać brakujące informacje oraz pozbyć się niekompletnych danych, które mogą rozregulowywać wyniki, Wykrywanie konfliktów w bazie danych – ostatni etap oczyszczania danych, polega on na odsianiu wartości, które wzajemnie się wykluczają.
Przypisy
Kategoria:Dane