Menu de la documentation
Datasets
L'actif gouverné sur lequel reposent chaque KPI, chaque tableau de bord et chaque réponse.
En bref
Un dataset est une table, une vue ou un fichier enregistré dans Northstar, avec sa documentation, son propriétaire, ses règles de qualité et ses droits d'accès. Chaque KPI, figure, tableau de bord et réponse du Chat lit des datasets, et uniquement ceux que vous avez le droit de voir. Un dataset appartient à une couche : bronze pour les données brutes, silver pour les données nettoyées, gold pour les données prêtes pour le métier.
Pourquoi tout part des datasets
Un chiffre de tableau de bord ne vaut que ce que valent les données derrière lui. Northstar place donc la gouvernance sur le dataset lui-même, pas sur chaque rapport :
- Documenté : description, descriptions de colonnes, propriétaire et tags.
- Validé : des règles métier s'exécutent à chaque analyse. Voir qualité et validations.
- Surveillé : un score de qualité, des alertes précoces et vos propres alertes.
- Traçable : d'où il vient et ce qui l'utilise. Voir le data lineage.
- Gouverné : les équipes y reçoivent un accès, action par action. Voir équipes et ressources.
Tout ce qui est construit sur un dataset en hérite : un KPI affiche le dataset dont il est calculé, et le Chat ne répond qu'à partir des datasets que vous pouvez utiliser.
Bronze, silver et gold
| Couche | Ce qu'elle contient | Origine habituelle |
|---|---|---|
| Bronze | Les données brutes, telles que chargées depuis la source | Une ingestion |
| Silver | Des données nettoyées, typées et rapprochées | Une transformation depuis le bronze |
| Gold | Des données prêtes pour le métier : une ligne par client, par mois… | Une transformation depuis le bronze ou le silver |
Un dataset sans couche s'affiche Non classé et il est traité comme du bronze. La couche d'un dataset externe est choisie par son propriétaire ou un éditeur. Celle d'un dataset géré est fixée par sa transformation.
Géré ou externe
- Géré : une transformation Northstar construit et rafraîchit ce dataset. Sa carte porte le badge Northstar. Sa couche et sa définition SQL se modifient via la transformation, dans les onglets SQL et Transformation.
- Externe : le dataset a été créé hors de Northstar et découvert dans l'entrepôt. Northstar le lit mais ne le construit pas ; sa définition SQL, quand il en a une, est en lecture seule.
Comment un dataset arrive
- Une ingestion charge une source. Chaque table chargée devient un dataset bronze. Voir sources et ingestion.
- Une transformation le construit. Créer un dataset → Créer avec l'IA ouvre une session où l'agent écrit un dataset silver ou gold à partir des datasets que vous voyez. Voir transformations.
- Quelqu'un enregistre une table ou un fichier existant. Créer un dataset → Parcourir mes stockages enregistre une table, une vue ou un fichier tabulaire qui existe déjà.
- Une pipeline de données l'enregistre par l'API, avec une clé développeur.
La page d'un dataset
| Onglet | Ce que vous y trouvez |
|---|---|
| Schéma | Les colonnes, leurs types et leurs descriptions. |
| SQL | La requête qui définit le dataset, quand il en a une. Modifiable pour un dataset géré. |
| Transformation | Pour un dataset géré : entrées, rafraîchissement, versions et exécutions. |
| Exploration | Les lignes, avec filtres et regroupements. |
| Validations | Les règles métier et leurs résultats. |
| Qualité | Le score de qualité, ses dimensions, les alertes précoces et les statistiques par colonne. |
| KPIs | Les KPIs calculés à partir de ce dataset. |
| Mes alertes | Les alertes que vous avez créées sur ce dataset. |
Chaque onglet n'apparaît que si votre équipe a le droit correspondant, par exemple Explorer pour l'Exploration.
Fonctions IA selon la couche
Certaines fonctions IA n'ont de sens que sur des données préparées : elles dépendent donc de la couche.
| Fonction IA | Couches |
|---|---|
| Recommandations de règles de validation | Silver et gold |
| Résumé qualité par l'IA | Silver et gold |
| Recommandations de KPIs | Gold |
| Chat | D'abord le gold, puis le silver, puis tous les datasets que vous pouvez utiliser |
Le catalogue, le schéma, le profilage, le score de qualité et vos alertes fonctionnent sur toutes les couches.
Descriptions de colonnes
De bonnes descriptions de colonnes rendent le catalogue, les réponses du Chat et les recommandations IA plus justes.
- Vous pouvez écrire une description vous-même, ou utiliser Générer les métadonnées avec l'IA pour une colonne ou pour toutes celles qui manquent.
- Une description écrite par l'IA est marquée Suggestion IA tant que personne ne l'a acceptée. Vous pouvez la modifier avant de l'accepter, ou la rejeter.
- Sur un dataset géré, l'IA s'appuie sur le lineage des colonnes : une colonne copiée d'une colonne amont documentée est décrite à partir d'elle.
Les recommandations IA de règles de validation et de KPIs demandent qu'au moins 70 % du dataset et de ses colonnes soient documentés.
Datasets dépréciés
Le propriétaire, un éditeur ou un administrateur de la plateforme peut marquer un dataset comme déprécié. Il passe dans la section des datasets dépréciés et reste consultable, clairement signalé. Le Chat ne répond plus à partir de lui. Le restaurer le remet dans le catalogue actif.
Questions fréquentes
Pourquoi ne puis-je pas changer la couche de ce dataset ? Il est géré : sa couche est fixée par la transformation qui le construit.
Pourquoi n'y a-t-il pas de recommandations IA sur mon dataset ? Vérifiez sa couche (voir le tableau ci-dessus) et sa documentation : au moins 70 % du dataset et de ses colonnes doivent être décrits.
Puis-je supprimer un dataset utilisé par un KPI ? Regardez d'abord l'onglet KPIs et le lineage : les KPIs, figures et tableaux de bord construits dessus cesseraient de fonctionner.