Un test ou une assertion appliqué(e) à un jeu de données pour vérifier qu'il respecte des critères tels que complétude, exactitude, cohérence, unicité, fraîcheur et validité avant utilisation en analyse ou production.

Principe

Automatiser des contrôles objectifs et reproductibles avec seuils et alertes, lier les contrôles à la traçabilité et enregistrer les résultats afin que les problèmes puissent être triés, tracés et remédiés systématiquement.

Démonstration

Un job quotidien calcule le taux de valeurs nulles par colonne, vérifie l'intégrité référentielle entre commandes et clients, valide les plages de valeurs des prix et déclenche des alertes en cas d'écarts par rapport aux bornes attendues.

Mauvaise application

Contrôles trop rigides bloquant des variations légitimes de données, ou tests ad hoc fragiles adaptés à un instantané historique créant de faux positifs et du bruit plutôt que des signaux exploitables.

Conséquence

Des contrôles efficaces renforcent la confiance dans les analyses en aval, réduisent le taux d'incidents dans rapports et modèles et raccourcissent le délai de détection des régressions ; ils nécessitent une maintenance au fil des évolutions de schéma et sources.

Inversion

Absence de contrôles qualité ou simple inspection manuelle : les données circulent sans vérification dans les modèles et tableaux de bord, augmentant le risque d'erreurs silencieuses et de conclusions erronées.

Limite

Concerne les propriétés des données et des transformations ; ne remplace pas la validation métier du sens ni la validation des modèles, bien qu'il soutienne ces activités en garantissant l'intégrité des entrées.

Tension sémantique

Tension entre bloquer les contrôles échoués (empêcher la consommation) et les approches de surveillance seule (autoriser l'utilisation avec avertissements) ; le compromis équilibre continuité opérationnelle et confinement des risques.

Synthèse

Un contrôle de qualité des données est une assertion définie, liée à la traçabilité et à des seuils, automatisée, surveillée et gouvernée pour garantir l'aptitude des données à leur usage analytique ou production.