Menu de la documentation
Data lineage
D'où vient chaque dataset et chaque colonne, et ce qui en dépend.
En bref
Le lineage montre d'où viennent vos données et ce qui en dépend : des sources aux datasets gold, jusqu'aux KPIs, figures et tableaux de bord qui les utilisent. Pour les datasets construits par Northstar, il descend jusqu'à la colonne : vous voyez comment chaque colonne est calculée. Consultez-le avant de modifier ou de supprimer quelque chose, pour savoir ce qui serait touché.
Lire la page lineage
Choisissez une source ou un dataset comme point de départ, ou recherchez une colonne. La page dispose la chaîne en cinq couloirs :
Sources → Bronze → Silver → Gold → Usages
- Les Usages sont les KPIs, figures et tableaux de bord construits sur un dataset.
- Amont et Aval règlent jusqu'où la chaîne s'étend de chaque côté. Dépliez un nœud pour voir ce qui l'alimente ou ce qui l'utilise.
- Sélectionnez un nœud ou un lien pour voir son détail.
Les liens ont quatre styles :
| Lien | Signification |
|---|---|
| Construit ou alimenté | Une source alimente un dataset, ou une transformation construit un dataset à partir d'un autre. Posé par Northstar. |
| Déclaré à la main | Un lien déclaré par un propriétaire ou un éditeur entre deux datasets. |
| Utilisé par | Un KPI, une figure ou un tableau de bord lit le dataset. |
| Colonne à colonne | Une colonne est calculée à partir d'une autre. |
Vous ne voyez que ce que vous avez le droit de voir. Un dataset auquel vous n'avez pas accès apparaît comme tel, sans son détail.
Liens automatiques et déclarés
- Les liens automatiques viennent de ce que Northstar exécute : les tables chargées par une ingestion, et les datasets lus par une transformation. Ils sont mis à jour à chaque construction, et ils pilotent la chaîne de rafraîchissement : quand une entrée change, ce qui est construit dessus est reconstruit.
- Les liens déclarés documentent une dépendance que Northstar n'a pas construite, par exemple une table produite par une pipeline externe. Le propriétaire, un éditeur ou un administrateur de la plateforme les ajoute depuis la page du dataset. Ils apparaissent dans le lineage mais ne déclenchent jamais de rafraîchissement.
Sur la page d'un dataset, Dérivé de et Utilisé par listent les datasets de chaque côté.
D'où vient une colonne
Pour un dataset construit par une transformation Northstar, chaque colonne indique comment elle est construite. Ouvrez-la depuis le schéma pour voir l'Origine de la colonne, jusqu'aux sources de données :
| Type | Signification |
|---|---|
| Copie | Copiée telle quelle d'une colonne amont, sous le même nom |
| Renommée | Copiée telle quelle, sous un autre nom |
| Calculée | Calculée par une expression sur des colonnes amont |
| Agrégée | Une somme, un comptage, une moyenne ou une fonction de fenêtre sur des colonnes amont |
| Constante | Une valeur fixe, sans colonne amont |
| Inconnue | La requête n'a pas pu être analysée pour cette colonne |
Pour un dataset externe, Northstar ne connaît pas la requête qui l'a construit : la chaîne s'arrête au dataset.
Avant de modifier quelque chose
Le lineage répond à la question « qu'est-ce qui casse si ceci change ? » :
- Avant de modifier un dataset géré, l'aperçu de l'onglet SQL liste les datasets qui seront reconstruits et signale une colonne supprimée qu'un autre dataset utilise.
- Avant de supprimer un dataset, regardez son couloir aval : les KPIs, figures et tableaux de bord construits dessus cesseraient de fonctionner. Northstar refuse de supprimer un dataset qu'une transformation lit encore.
- Quand une source change, suivez-la vers l'aval pour voir chaque dataset, KPI et tableau de bord qu'elle alimente.
Questions fréquentes
Pourquoi ne vois-je pas l'origine d'une colonne ? L'origine des colonnes existe pour les datasets construits par une transformation Northstar. Pour un nouveau dataset, elle est calculée à sa prochaine construction.
Pourquoi un nœud indique-t-il « Dataset auquel vous n'avez pas accès » ? La chaîne passe par un dataset qui n'est pas partagé avec vos équipes. Demandez à son propriétaire ou à un administrateur.
Un lien déclaré rafraîchit-il quelque chose ? Non. Il documente la dépendance ; seuls les liens construits par Northstar déclenchent des rafraîchissements.