Aide
Ajouter cette page à votre livre
Afficher le livre (0 article)
Suggérer des pagesNettoyage de données
Le nettoyage de données est l'opération de détection et de correction (ou suppression) d'erreurs présentes sur des données stockées dans des bases de données ou dans des fichiers.
Le nettoyage de données est un des problèmes majeurs des entrepôts de données[1].
Les données présentes dans les bases de données peuvent avoir plusieurs types d'erreurs comme des erreurs de frappe, des informations manquantes, des imprécisions etc. La partie impropre de la donnée traitée peut être remplacée, modifiée ou supprimée. Le processus de nettoyage identifie les données erronées et les corrige automatiquement avec un programme informatique ou les propose à un humain pour qu'il effectue les modifications.
Le nettoyage de données est différent de la validation de données. La validation de données est l'étape qui consiste à vérifier et rejeter les données qui ne respectent pas certaines règles avant l'ajout en base de données, alors que le nettoyage intervient après (sur des données déjà présentes en base de données).
Les approches classiques de nettoyage utilisent les contraintes d'intégrité, les statistiques ou l'apprentissage automatique pour nettoyer les données[2].
Problématique
[modifier | modifier le code]Les problèmes liés au nettoyage de données sont apparus au début des années 2000 avec l'explosion d'Internet et des entrepôts de données.
Les entrepôts de données sont utilisés pour la prise de décision. Ceci implique que les données doivent être fiables. Des données incorrectes ou incohérentes peuvent conduire à de fausses conclusions et à de mauvaises prises de décision[3].
Par exemple, le gouvernement peut vouloir analyser les chiffres du recensement de la population pour décider quelles régions exigent davantage de dépenses et d'investissements en infrastructures et services. Dans ce cas, il est important d'avoir accès à des données fiables pour éviter des décisions budgétaires erronées.
Les erreurs dans les données coûtent aux entreprises l'équivalent de 10 à 20 % de leur budget d’implémentation. De plus, on estime que 40 à 50 % du budget temps d'un projet est dépensé dans la correction d'erreurs dans les données[4].
Types d'erreurs
[modifier | modifier le code]Les erreurs sur les données peuvent être de toutes sortes. Par exemple, une erreur peut apparaître lors d'une saisie (donnée manquante, données dupliquées, erreur de saisie, mauvais format, etc.)
| Prénom | Âge | Sexe | Taille |
|---|---|---|---|
| Alice | 150 | F | 1,70 |
| Bob Joe | 34 | M | |
| Charlie | 19 | 1,67 |
Erreurs de syntaxe
[modifier | modifier le code]Erreurs lexicales
[modifier | modifier le code]Une erreur lexicale est une divergence entre le nom de la donnée attendu et le format spécifié.
| Prénom | Âge |
|---|---|
| Alice | F |
| Bob | M |
| Charlie | 21 |
Erreurs de formatage
[modifier | modifier le code]Une erreur de formatage est une entrée qui ne correspond pas à un modèle donné.
| Nom |
|---|
| Doe, John |
| John Smith |
Erreurs d'irrégularité
[modifier | modifier le code]Une erreur d'irrégularité se produit lorsqu'une donnée n'est pas représentée de façon régulière, en suivant le même schéma, la même suite logique d'écriture. Cela peut intervenir pour la représentation de distance par exemple en utilisant différents systèmes métriques.
| Distance |
|---|
| 25 km |
| 23 km |
| 20 mi |
Erreurs sémantiques
[modifier | modifier le code]Violation des contraintes d'intégrité
[modifier | modifier le code]Ce sont les erreurs qui ne respectent pas les règles d'intégrité du schéma de données.
Ce sont souvent des règles de bon sens comme la vérification d'une valeur supérieure à 0 pour l'âge d'une personne ou encore la vérification de l'unicité d'une clé primaire dans une base de données.
Erreurs de contradiction
[modifier | modifier le code]Les erreurs de contradiction sont des contradictions dans les données.
Par exemple une erreur de contradiction peut intervenir lorsque l'âge spécifié ne correspond pas à la date de naissance.
Erreurs de duplication
[modifier | modifier le code]Les erreurs de duplication surviennent lorsque plusieurs occurrences de la même donnée sont stockées.
Ces erreurs peuvent être vues comme un cas spécifique des erreurs de contradiction.
Erreurs de donnée invalide
[modifier | modifier le code]Ce sont des entrées qui sont dites invalides mais qui ne sont pas détectables par la mise en place de contraintes. Ce sont des erreurs qui sont spécifiques au domaine.
Erreurs de couverture
[modifier | modifier le code]Valeur manquante
[modifier | modifier le code]Ce type d'erreur provient d'une omission d'un champ de la donnée, lorsque la valeur attendue est manquante.
| Prénom | Âge | Sexe | Taille |
|---|---|---|---|
| Alice | 23 | F | 1,70 |
| Bob | 34 | M | 1,82 |
| Charlie | 19 | M |
Donnée manquante
[modifier | modifier le code]Ce type d'erreur provient lorsqu'une donnée est vide ou manquante.
| Prénom | Âge | Sexe | Taille |
|---|---|---|---|
| Alice | F | 1,70 | |
| Bob | M | 1,86 | |
| Charlie | M | 1,68 |
Méthodes existantes
[modifier | modifier le code]On distingue deux types d'approches :
- Celles des entreprises, qui utilisent généralement des nettoyeurs de type ETL[5]. Ce type d'approche a été le premier à avoir vu le jour.
- Celles des scientifiques, qui explorent de nouvelles approches qui se basent sur les contraintes d'intégrité[6],[7],[8],[9],[10], les statistiques[11], l'apprentissage automatique[12] ou encore le crowdsourcing[13].
Le nettoyage de données se décompose en 3 phases :
- Analyser les données afin de détecter les potentiels problèmes
- Choisir le type de transformations à effectuer
- Appliquer ces informations aux données
Parsing
[modifier | modifier le code]La méthode de parsing est utilisée pour la détection d'erreurs de syntaxe. Un parseur décide de l'acceptabilité de la donnée représentée par une chaîne de caractères. Il s'assure que la donnée suit la spécification.
Ce type d'approche requiert un ensemble de données qui peut être converti en distance pour pouvoir être comparé.
Cette approche a ses limites. En effet, celle-ci se base généralement sur des expressions régulières pour déterminer la validité d'une entrée. Ce processus de vérification peut être amélioré avec des techniques d'apprentissage automatique.
Transformation de donnée
[modifier | modifier le code]La transformation de donnée est une opération qui regroupe plusieurs champs en un seul.
Par exemple, la décomposition d'une date en plusieurs champs (année, mois et jour) ou encore la transformation d'une entrée de type booléen en entier (true = 1).
Renforcement des contraintes d'intégrité
[modifier | modifier le code]Les contraintes d'intégrité sont au départ utilisées pour prévenir des erreurs sur les données, cependant il se peut qu'elles ne suffisent pas et que des erreurs sur les données se manifestent au fil du temps. Dans certains cas, le meilleur moyen d'améliorer la qualité des données n'est pas de corriger les données corrompues, mais plutôt de modifier les contraintes d'intégrité car la sémantique des données ou de l'application peut avoir évolué.
Le but de cette méthode n'est pas de modifier les données de manière directe mais de trouver et modifier les contraintes d'intégrité douteuses afin qu'elles s'accordent mieux avec les données.
Méthode statistique
[modifier | modifier le code]Malgré les recherches faites sur les contraintes d'intégrité ainsi que sur d'autres méthodes visant à améliorer la qualité des données, les bases de données peuvent encore contenir un certain nombre d'erreurs subtiles, syntaxiques ou sémantiques, qu'il est difficile voire impossible d'exprimer (et détecter) en utilisant les contraintes générales offertes dans les SGBD actuels.
L'utilisation des statistiques permet d'obtenir des corrections d'erreurs plus fiables. En identifiant de potentielles dépendances statistiques entre les paires de données similaires et en développant des algorithmes que l'on peut greffer simplement dans les SGBD standards, on peut estimer automatiquement ces dépendances. Cette méthode permet par exemple de déduire des valeurs correctes même en présence de valeurs manquantes ou corrompues.
Les méthodes statistiques peuvent être utilisées pour l'analyse des données et/ou leur correction.
Crowdsourcing
[modifier | modifier le code]Il peut arriver que les méthodes précédentes n'aient pas assez d'éléments de preuve pour pouvoir identifier et corriger les erreurs[14].
Une approche basée sur le crowdsourcing permet d'utiliser des bases de connaissance externes qui permettent d'identifier plus d'erreurs automatiquement.
Les erreurs détectées qui ne peuvent être réparées automatiquement sont proposées à un humain qui les corrige manuellement.
Solutions existantes
[modifier | modifier le code]La recherche permet d'apporter de nouvelles solutions qui utilisent les approches citées précédemment. En voici quelques-unes :
Potter's wheel
[modifier | modifier le code]Potter's wheel[15] est une méthode de nettoyage de données interactive qui permet la détection et la transformation de données.
Cette solution permet à l'utilisateur de construire des transformations lorsque celles-ci se présentent et d'ainsi améliorer itérativement la détection et la transformation. Ceci sans écrire de programmes complexes ou de perdre du temps de développement[16].
Potter's wheel fournit des transformations les plus générales possibles et assez puissantes pour faire la plupart des tâches de transformation sans programmation[17]. Les utilisateurs saisissent des expressions régulières ou des expressions grammaticales pour spécifier les transformations à effectuer[18].
Avec Potter's wheel, c'est à l'utilisateur de choisir le résultat qu'il désire en sortie[18].
Le problème de l'approche de Potter's Wheel est de trouver une expression régulière qui ressemble le plus à la valeur à modifier sans pour autant lui être trop spécifique. Il faut garder à l'esprit que celle-ci peut avoir des variantes[19].
AJAX
[modifier | modifier le code]AJAX[20] est un framework qui tente de séparer la partie logique (design et spécification du workflow) de la partie physique (implémentation). AJAX modélise la logique de nettoyage de données par un graphe orienté de transformations. Il prend comme entrée des données contenant des erreurs et renvoie des données propres[21].
Le but majeur est de transformer des données existantes venant d'une ou plusieurs collections en un schéma cible tout en éliminant les doublons pendant le processus. Le processus se décompose en 5 transformations : mapping, view, matching, clustering et merging. Le matching operator est notamment important dans la détection des doublons.
AJAX possède :
- des opérateurs logiques (extension d'algèbre relationnelle)
- des algorithmes d’exécution physique
- un langage déclaratif pour les opérateurs logiques
Ce langage consiste en des requêtes SQL enrichies par des primitives spécifiques. Son aspect déclaratif est hérité du SQL et garantit un déploiement ainsi qu'une maintenance facile des programmes de nettoyage de données. Il n'est cependant pas complètement déclaratif de par la présence de code impératif servant à la customisation pour un programme particulier si besoin.
IntelliClean
[modifier | modifier le code]IntelliClean[22] est une approche fondée sur des règles essentiellement centrées sur l'élimination des doublons.
Cette solution consiste en 3 étapes :
- Pré-processing : élimination des erreurs syntaxiques, standardisation des formats et abréviations utilisées.
- Processing : évaluation des règles de nettoyage sur les données qui spécifie une action à effectuer sous certaine condition.
- Human Verification/Validation : les deux premières étapes produisent des logs de leur exécution qui permettent lors de la troisième étape à des humains de les étudier afin de vérifier et/ou corriger les précédentes actions effectuées.
Il y a 4 types de règles pour l'étape Processing :
- Duplicate identification : ces règles spécifient les conditions qui permettent d'affirmer quels tuples sont des doublons.
- Merge/Purge : ces règles indiquent comment les doublons doivent être gérés.
- Update Rules : ces règles indiquent comment les données doivent être gérées dans certaines conditions, elles permettent notamment la spécification de règles de renforcement des contraintes d'intégrité en indiquant la manière dont les valeurs manquantes doivent être remplies.
- Alert rules : ces règles spécifient les conditions pour lesquelles l'utilisateur est notifié.
FraQL
[modifier | modifier le code]FraQL[23] est un autre langage déclaratif permettant la spécification d'un processus de nettoyage de données. Il est similaire à AJAX par le fait que c'est également une extension du SQL. FraQL permet de spécifier transformations de schémas et de données, standardisations/normalisations de valeurs grâce à des fonctions créées par l'utilisateur.
Grâce à la combinaison de ces fonctions utilisateurs avec les opérateurs de jointure et d'union, FraQL permet l'identification et l'élimination des doublons. Enfin cette solution permet le remplissage de valeurs manquantes ainsi que l'élimination de tuples invalides par la détection du bruit dans les données.
ARKTOS
[modifier | modifier le code]ARKTOS[24] est un framework capable d’exécuter de l'ETL pour la création d'entrepôts de données. En effet, les auteurs de cette solution considèrent le nettoyage de données comme une part de l'ETL. Les étapes individuelles du processus sont appelées activités. Chaque activité est liée à une entrée et une sortie. La logique d'une activité est décrite par une requête SQL. Chaque requête est associée à un type d'erreur et une règle qui indique le comportement en cas de rencontre d'une telle erreur.
Il y a 6 types d'erreurs possibles dans un processus ETL, PRIMARY KEY VIOLATION, UNIQUENESS VIOLATION et REFERENCE VIOLATION sont des cas particuliers de violation de contraintes d'intégrité. Le type d'erreur NULL EXISTENCE est lié à l’élimination des valeurs manquantes. Les types d'erreurs restantes sont DOMAIN MISMATCH et FORMAT MISMATCH qui font référence au lexique et aux erreurs de formatage.
Les comportements qu'il est possible d'associer à une erreur sont IGNORE, qui ne va pas marquer le tuple comme erroné, DELETE, WRITE TO FILE et INSERT TO TABLE avec la sémantique attendue. Seuls les deux derniers permettent une interaction avec l'utilisateur.
La qualité du nettoyage peut être mesurée pour chaque activité en exécutant une requête SQL similaire qui va compter le ratio matching/violating des tuples.
ARKTOS définit deux langages déclaratifs servant à spécifier le processus ETL. Il est également muni d'un constructeur de scénarios graphiques.
KATARA
[modifier | modifier le code]KATARA[13] est un système qui fait le pont entre les bases de connaissance et le crowdsourcing pour un nettoyage des données de bonne qualité.
Contrairement à d'autres approches, KATARA utilise un algorithme pour retrouver les types des données et les relations entre celles-ci. Grâce à ces informations, KATARA utilise une approche probabiliste pour déterminer la correction la plus cohérente à faire. Ces probabilités sont déterminées grâce aux bases de connaissances.
La recherche des données corrompues est un problème difficile. Pour améliorer cette recherche, la qualité des nettoyages ainsi que la précision des réparations, KATARA améliore les bases de connaissances avec les nouvelles entrées nettoyées et vérifiées par des humains[25].
KATARA permet aux entreprises de faire des économies. En effet, faire appel au crowdsourcing implique qu'il n'est pas nécessaire d'avoir un expert du domaine pour réparer une donnée corrompue[14].
Notes et références
[modifier | modifier le code]- Rahm et Hai Do 2000, Introduction, p. 2
- Chu et al. 2015, Abstract, p. 1
- Rahm et Hai Do 2000, Introduction, p. 1
- Yakout, Berti-Équille et Elmagarmid 2013, Introduction, p. 1
- Geerts et al. 2013, Related work, p. 636
- Bohannon et al. 2005
- Chiang et Miller 2011
- Chu, Ilyas et Papotti 2013
- Geerts et al. 2013
- Song et al. 2014
- Mayfield, Neville et Prabhakar 2010
- Yakout, Berti-Équille et Elmagarmid 2013
- Chu et al. 2015
- Chu et al. 2015, Introduction, p. 1247
- Raman et Hellerstein 2001
- Raman et Hellerstein 2001, Abstract, p. 381
- Raman et Hellerstein 2001, Potter's Wheel Approach, p. 382
- Raman et Hellerstein 2001, Interactive Transformation, p. 382
- Raman et Hellerstein 2001, Extensible Discrepancy Detection, p. 382
- Galhardas 2005
- Galhardas 2005, Introduction, p. 329
- Lee, Ling et Low 2000
- Müller et Freytag 2003
- Vassiliadis et al. 2000
- Chu et al. 2015, Introduction, p. 1248
Bibliographie
[modifier | modifier le code]- (en) F. Geerts, G. Mecca, P. Papotti et D. Santoro, « The LLUNATIC Data-Cleaning Framework », PVLDB, vol. 6, no 9, , p. 625-636 (lire en ligne)
- (en) X. Chu, J. Morcos, I. F. Ilyas, M. Ouzzani, P. Papotti, N. Tang et Y. Ye, « KATARA: A Data Cleaning System Powered by Knowledge Bases and Crowdsourcing », SIGMOD, , p. 1247-1261 (ISBN 978-1-4503-2758-9, DOI 10.1145/2723372.2749431, lire en ligne)
- (en) F. Chiang et R. J. Miller, « A Unified Model for Data and Constraint Repair », ICDE, , p. 446-457 (ISBN 978-1-4244-8958-9, ISSN 1063-6382, DOI 10.1109/ICDE.2011.5767833, lire en ligne)
- (en) X. Chu, I. F. Ilyas et P. Papotti, « Holistic Data Cleaning: Putting Violations Into Context », ICDE, , p. 458-469 (ISBN 978-1-4673-4908-6, ISSN 1063-6382, DOI 10.1109/ICDE.2013.6544847, lire en ligne)
- (en) S. Song, H. Cheng, J. Xu Yu et L. Chen, « Repairing Vertex Labels under Neighborhood Constraints », PVLDB, vol. 7, no 11, , p. 987-998 (lire en ligne)
- (en) M. Yakout, L. Berti-Équille et A. K. Elmagarmid, « Don't be SCARed: Use SCalable Automatic REpairing with Maximal Likelihood and Bounded Changes », SIGMOD, , p. 553-564 (ISBN 978-1-4503-2037-5, DOI 10.1145/2463676.2463706, lire en ligne)
- (en) C. Mayfield, J. Neville et S. Prabhakar, « ERACER: A Database Approach for Statistical Inference and Data Cleaning », SIGMOD, , p. 75-86 (ISBN 978-1-4503-0032-2, DOI 10.1145/1807167.1807178, lire en ligne)
- (en) P. Bohannon, W. Fan, M. Flaster et R. Rastogi, « A Cost-Based Model and Effective Heuristic for Repairing Constraints by Value Modification », SIGMOD, , p. 143-154 (ISBN 1-59593-060-4, DOI 10.1145/1066157.1066175, lire en ligne)
- (en) W. E. Winkler, « Data Cleaning Methods », SIGKDD, (lire en ligne)
- (en) V. Raman et J. M. Hellerstein, « Potter's Wheel: An Interactive Data Cleaning System », VLDB, , p. 381-390 (ISBN 1-55860-804-4, lire en ligne)
- (en) H. Galhardas, « Data cleaning and transformation using the AJAX framework », GTTSE, , p. 327-343 (ISBN 978-3-540-45778-7, DOI 10.1007/11877028_12, lire en ligne)
- (en) E. Rahm et H. Hai Do, « Data Cleaning: Problems and Current Approaches », IEEE, vol. 23, no 4, , p. 3-13 (lire en ligne)
- (en) M. Volkovs, F. Chiang, J. Szlichta et R. J. Miller, « Continuous data cleaning », IEEE, , p. 244-255 (DOI 10.1109/ICDE.2014.6816655, lire en ligne)
- (en) M. L. Lee, T. W. Ling et W. L. Low, « IntelliClean: a knowledge-based intelligent data cleaner », SIGKDD, , p. 290-294 (ISBN 1-58113-233-6, DOI 10.1145/347090.347154, lire en ligne)
- (en) P. Vassiliadis, Z. Vagena, S. Skiadopoulos, N. Karayannidis et T. Sellis, « Arktos: A Tool For Data Cleaning and Transformation in Data Warehouse Environments », IEEE, , p. 42-47 (lire en ligne)
- (en) H. Müller et J-C. Freytag, Problems, Methods, and Challenges in Comprehensive Data Cleansing, (lire en ligne)
