Menu de la documentation
Qualité et validations
Le score de confiance, ses six dimensions et les règles qui protègent vos données.
En bref
Chaque analyse donne à un dataset un score de qualité de 0 à 100, construit sur six dimensions. Le score montre la dimension qui le tire vers le bas, et un problème grave le plafonne pour qu'il ne soit pas noyé dans la moyenne. Les règles de validation transforment vos attentes métier en contrôles exécutés à chaque analyse.
Le score de qualité
Le score indique à quel point vous pouvez vous fier à un dataset aujourd'hui. Il apparaît dans l'onglet Qualité et dans l'en-tête du dataset.
| Score | Niveau |
|---|---|
| 80 à 100 | Excellent |
| 60 à 79 | Bon |
| Moins de 60 | À améliorer |
À côté du score, vous trouvez :
- l'évolution depuis l'analyse précédente ;
- le nombre de dimensions sur lesquelles il repose, par exemple « Calculé sur 5 dimensions sur 6 » ;
- la raison, quand le score est plafonné.
Le score est calculé à chaque analyse. Une analyse se lance :
- quand quelqu'un clique sur Lancer une analyse dans l'onglet Qualité ;
- après qu'une transformation a construit ou reconstruit le dataset ;
- quand une pipeline de données la demande par l'API.
Chaque analyse exécute aussi les règles de validation et vérifie les alertes du dataset.
Les six dimensions
| Dimension | Poids | Ce qu'elle mesure |
|---|---|---|
| Validité | 30 | Vos règles de validation, pondérées par leur sévérité |
| Complétude | 20 | Les valeurs remplies par colonne, comparées à l'historique de chaque colonne. Les valeurs de remplissage comme « N/A » ou -1 comptent comme manquantes. |
| Fraîcheur | 15 | L'âge des données les plus récentes, comparé au rythme de mise à jour attendu |
| Volume | 15 | L'évolution du nombre de lignes, comparée aux variations habituelles du dataset. Une table qui ne fait que grossir n'est pas pénalisée pour sa croissance. |
| Unicité | 10 | Les lignes et les clés en double |
| Stabilité | 10 | La dérive des colonnes, les changements de schéma et la part de lignes anormales, comparés à l'historique du dataset |
Une dimension sans signal est mise de côté au lieu de valoir 0. Par exemple, la validité n'a pas de signal tant que le dataset n'a aucune règle de validation. Le score est alors calculé sur les autres dimensions.
La fraîcheur attendue vient, dans cet ordre :
- d'une règle de validation de fraîcheur, si vous en avez posé une ;
- du rythme de mise à jour appris sur l'historique du dataset ;
- sinon, de 48 heures.
Plafonds
Certains problèmes sont trop graves pour être compensés par de bons résultats. Ils plafonnent le score :
| Problème | Score maximal |
|---|---|
| Une règle de validation critique échoue | 59 |
| La clé primaire contient des doublons | 59 |
| La table est vide | 40 |
| Le schéma a changé de façon cassante | 40 |
Un score plafonné reste toujours sous Bon ou Excellent, quelles que soient les autres dimensions.
Règles de validation
Une règle de validation énonce ce que les données doivent respecter. Les règles sont regroupées en suites, dans l'onglet Validations. Exemples :
- la colonne e-mail ne doit jamais être vide ;
- le chiffre d'affaires doit être positif ;
- le statut doit appartenir à une liste de valeurs autorisées ;
- la table doit contenir entre 1 000 et 50 000 lignes ;
- la ligne la plus récente doit dater de moins de 24 heures.
Les règles portent sur les colonnes (valeurs, longueurs, plages, formats), sur des statistiques (moyenne, médiane, percentiles), sur toute la table (nombre de lignes, fraîcheur, changements de schéma, lignes en double), ou sur une requête SQL personnalisée.
Chaque règle a une sévérité, qui fixe son poids dans la dimension validité :
| Sévérité | Poids | À utiliser pour |
|---|---|---|
| Critique | 5 | Une règle dont l'échec rend les données fausses pour décider. Un échec plafonne le score à 59. |
| Avertissement | 2 | Un problème à corriger, qui n'invalide pas les données |
| Info | 0,5 | Un signal à suivre |
Le propriétaire, un éditeur ou un administrateur de la plateforme peut créer et modifier les règles.
Recommandations IA
Sur les datasets silver et gold, l'IA peut suggérer des suites de validation à partir du profil du dataset. Vous relisez chaque suggestion, puis vous l'acceptez pour l'ajouter aux validations du dataset, ou vous l'écartez. Les suggestions demandent qu'au moins 70 % du dataset et de ses colonnes soient documentés.
Alertes précoces
Chaque analyse détecte aussi des problèmes d'elle-même, chacun avec une sévérité :
- changements de schéma (colonnes supprimées, retypées ou ajoutées) et tables vides ;
- chutes de volume et données périmées ;
- trop de valeurs vides, et des valeurs de remplissage comme « N/A », des chaînes vides, -1 ou 9999 ;
- clés et lignes en double ;
- dates dans le futur, colonnes remplies de zéros, colonnes constantes ;
- un changement de distribution d'une colonne depuis l'analyse précédente ;
- une part inhabituelle de lignes anormales, avec les colonnes qui les expliquent.
Ces alertes ne demandent aucun réglage. Pour être prévenu, créez une alerte.
Résumé IA
Sur les datasets silver et gold, un résumé IA explique chaque analyse en langage courant : ce qui a changé depuis l'analyse précédente, les principaux problèmes et leur impact, ce que les lignes anormales ont en commun, et quoi faire ensuite. Une règle de validation suggérée peut être ajoutée en un clic.
- Le résumé est construit uniquement à partir de statistiques agrégées, jamais à partir des lignes brutes.
- Il n'est régénéré que si l'analyse a réellement changé.
Questions fréquentes
Mon dataset n'a aucune règle de validation. Son score est-il fiable ? Il repose sur moins de dimensions : la validité est mise de côté. Ajoutez quelques règles pour que le score ait plus de sens.
Pourquoi le score a-t-il baissé alors que rien n'a échoué ? Ouvrez le détail du score : la fraîcheur baisse souvent quand une mise à jour est en retard, et le volume quand le nombre de lignes bouge plus que d'habitude.
Pourquoi le score est-il plafonné à 40 ? La table est vide, ou son schéma a changé de façon cassante. La raison est affichée à côté du score.