La préparation de données est un processus qui précède celui de l'analyse de données. Il est constitué de plusieurs tâches comme la collecte de données, le nettoyage de données, l'enrichissement de données ou encore la fusion de données.
Au cours de la préparation des données, les données dites « brutes » sont soumises à différents traitements afin de les rendre exploitables pour l'étape d'Exploration de données, au cours de laquelle le but sera d'extraire des connaissances à partir des données via la construction de modèles.
La préparation des données une étape clé car la fiabilité de l'analyse des données dépend en très grande partie de la qualité des données.
Enjeux Les données à disposition des entreprises sont souvent désordonnées et de mauvaise qualité, ce qui représente un frein dans le processus car il est nécessaire de passer beaucoup de temps à améliorer ces données avant de passer à l'analyse.
La capacité des entreprises à utiliser des outils permettant de réduire considérablement le temps lié à la préparation des données représente un réel enjeu dans un marché qui dépassera le milliard de dollars en 2023.
Les entreprises doivent gérer un nombre de plus en plus important de données et les traiter dans des délais qui sont également de plus en plus courts. Avec les changements de plus en plus fréquents liés aux comportements des utilisateurs, il faut sans cesse remettre à jour les données pour avoir une compréhension et une confiance en elles à chaque instant.
Une entreprise qui maîtrise le processus de préparation des données et dispose d'outils performants et permettant l'automatisation du processus est assurée d’avoir des meilleurs résultats lors de l'analyse de ses données. Le but des entreprises est d'avoir à leur disposition des données correctes, fiables et cohérentes avec le temps, qui permettront par exemple de traduire des réels besoins chez les clients et donc de mieux cibler les offres qu'elle va leur proposer pour maximiser ses profits.
De plus, avoir une maîtrise et une bonne compréhension de ses données représente un enjeu crucial pour les entreprises, car cela leur permet d’avoir plus de confiance vis-à-vis des données, et d'être donc plus confiantes dans les choix stratégiques comme la prise de décisions financières.
Problématiques Le but du processus de préparation de données est l’obtention de données fiables, en quantité et en qualité, cohérentes et structurées afin que l’analyse soit la plus performante possible.
Cependant, les problématiques liées à la préparation des données que rencontrent les chercheurs sont proportionnelles à la quantité des données avec lesquelles ils doivent travailler.
Parmi ces problématiques on peut citer entre autres : Comment exploiter au mieux les données ? Comment enrichir ses données avec des données cohérentes ? Comment s’assurer de la qualité des données ? Comment nettoyer les données ? Comment mettre à jour les données et les modèles ? Comment rendre le processus plus rapide ? Comment réduire les coûts liés au processus de préparation des données ?
D'après Forbes, le processus de préparation des données est la partie la moins agréable du travail pour 76 % des experts en méga-données. De plus, ils passeraient près de 80 % de leurs temps à préparer et manager les données pour l'analyse, ce qui met en avant le fait que le processus de préparation des données est un processus long est fastidieux, et nécessite donc des outils pour soulager les personnes qui travaillent avec.
Histoire Le processus de préparation des données est associé historiquement à celui de l'Analyse des données. Dès lors que des personnes vont collecter des données afin d'en faire une analyse, il est question de préparation des données.
Ingestion des données L'ingestion des données désigne l'étape du processus de préparation des données pendant laquelle les données provenant d'une ou plusieurs sources vont être placées dans un espace de stockage.
Le but est de permettre aux équipes d'avoir accès à ces données pour pouvoir les utiliser, les organiser ou encore les analyser. La plupart des espaces de stockage des données sont des entrepôts de données. Ils permettent de collecter et d'ordonner les données Ils sont composés de données hétérogènes, et fournissent une base à l'entreprise pour la prise de décisions. Les entrepôts de données différent d'autres solutions de stockage de données comme les lacs de données de par la nature des données qui y sont stockées. En effet, les lacs de données permettent par exemple le stockage de données homogènes.
Amélioration des données Dans la quasi-totalité des projets, l'équipe responsable devra passer par une phase d'amélioration des données. Ce processus peut comporter plusieurs étapes pendant lesquelles les données vont subir plusieurs traitements afin de construire une base de données plus fiable et plus pertinente par rapport aux besoins de l'équipe d'analyse.
Nettoyage des données Le processus de nettoyage de données est fondamental à la préparation des données. Il permet d'en améliorer la qualité en supprimant ou en modifiant les données erronées. Le but de cette opération est d'éviter de retrouver dans la base de données des données incorrectes. Les données peuvent être incorrectes pour plusieurs raisons : erreurs de saisies ; erreurs lexicales ; erreurs de formats ; doublons ; données manquantes ; erreurs sémantiques.
Le nettoyage des données est une étape cruciale dans la préparation des données car toute erreur liée aux données se répercutera inévitablement dans leur analyse. L'augmentation de la quantité des données provoque une augmentation des données incorrectes, ce qui oblige les entreprises à adopter une multitude de méthodes afin de les éliminer. Parmi ces méthodes, on peut citer l'audit de données, l'élimination des doublons par algorithme ou encore l'analyse syntaxique.
Enrichissement des données L’enrichissement des données signifie une fusion entre les données interne à l'entreprise et des données provenant d’une ou de plusieurs sources externes. Il arrive très souvent que les organisations aient recours à des données externes lors de la préparation des données.
Le but de cet enrichissement est la possibilité de faire des décisions plus pertinentes.
Par exemple, si une entreprise possède des données de consommation sur ses clients, l'ajout de données externes pourra permettre un meilleur profilage des clients, et donc de proposer des offres plus pertinentes pour ces derniers, et donc maximiser les gains de l'entreprise.
Les données brutes détenues initialement par l’entreprise ne sont souvent pas suffisantes, et l'enrichissement des données devient une réelle nécessité dans la plupart des cas.
Cependant, il ne faut pas ajouter des données juste pour ajouter des données, il est nécessaire que les données ajoutées soient pertinentes et qu'elles ajoutent une vraie complémentarité par rapport à l'existant.
L'enrichissement des données peut constituer un réel défi à part entière pour les entreprises. En effet, enrichir une base de données requiert d’avoir au préalable une base de données dont les données sont de qualité. Cela signifie que l'entreprise doit au préalable disposer de données en quantité suffisantes et nettoyées. De plus, il faut prendre en compte le risque inhérent de la fusion des bases de données.
Premièrement, il peut y avoir un souci de fiabilité. Les données externes peuvent comporter des erreurs, c’est pour cela qu’il faut faire attention aux sources et effectuer un travail de vérification sur celles-ci.
Ensuite, les données peuvent suivre des schémas différents et êtres soumises à des réglés différentes. La fusion des données nécessitera une transformation des données au préalable pour les mettre sous le même format.
Un autre problème à prendre en compte concerne les coûts des sources extérieures. En effet, les « data as a service » sont des solutions permettant aux organisations d'avoir un accès à des bases de données contre un abonnement. L'enrichissement des données est un processus qui nécessite d’être maintenu dans le temps avec des données qui permettent de traduire une situation à un instant précis. Le véritable enjeu de l'enrichissement des données ne réside pas dans le fait de construire la base de données la plus volumineuse, mais dans le fait de réussir à capturer les données les plus pertinentes pour l'étude.
Dans un monde où les comportements et les habitudes des consommateurs changent en permanence, il faut que les entreprises aient au préalable déterminé quelles étaient les données en leur possession, et quelles données ils leur manquait pour effectuer leur analyse de la meilleure des manières.
Transcription des données Lors de la collecte de données, chaque donnée qui peut améliorer le niveau de précision est importante pour le chercheur. La variété des données oblige les entreprises à ne plus se reposer uniquement sur leurs méthodes traditionnelles, mais plutôt de remettre à jour en permanence leurs processus de préparation des données. La multiplicité des canaux d'informations génèrent des problèmes liés à la nature des données.
De nombreuses données ne sont pas représentées sous la forme de données quantitatives, c'est-à-dire sous la forme de nombres ou de pourcentages, mais peuvent se trouver sous une forme qualitative.
Les données qualitatives sont des données qui sont présentes dans les discours, les reportages, les articles et traduisent une pensée, un comportement, une culture ou tout autre information qui est plus difficile d'extraire.
Une étape de transcription des données est requise pendant laquelle il faudra capturer l'essence du document à travers des données que les chercheurs utiliseront pendant leurs analyses.
C'est une étape qui est fondamentale car de nombreuses informations sont contenues dans les données qualitatives et permettent aux entreprises d'avoir une meilleure compréhension de phénomènes économiques et sociaux.
À l'ère des réseaux sociaux, la capacité des entreprises à capturer les données présentes sur ces canaux de communications représente un réel enjeu.
Mise à jour des données Un des problèmes liés aux données possédées par les entreprises, indépendamment du niveau de précision des données extraites, est le fait qu'elles ne sont pertinentes que par rapport à une date précise et un contexte en particulier. Les données peuvent devenir très rapidement obsolètes et peuvent devenir un frein voir une source de conflit si elles ne sont pas actualisées en temps voulu.
La réelle difficulté réside dans la capacité à enrichir en temps voulu la base de données déjà existante avec des données pertinentes aux analyses.
Outils Les outils constituent un point essentiel lors de la préparation des données. Les feuilles de calcul restent à ce jour une solution abordable pour la visualisation des données, mais également pour effectuer des calculs et procéder à l'analyse des données.
Ce type de solution est plutôt réservé au petites entreprises ne possédants pas les mêmes budgets que d'autres entreprises possédants des départements complets pour s'occuper de cette tâche.
De plus, certaines entreprises procèdent encore au nettoyage manuellement, ce qui peut poser plusieurs problèmes. Par exemple, le fait que les bases de données soient très volumineuses rend la correction manuelles des données très pénibles et faillible. De plus cette solution nécessite beaucoup de temps pour la personne responsable, et donc moins de temps à l'analyse des données.
Pour pallier ces problèmes, les entreprises se tournent vers plusieurs outils, libres de droits ou non, adaptés à leurs besoins et à leurs ambitions.
Outils open source