Menu de la documentation

Transformations

Comment les datasets silver et gold sont construits à partir des données brutes, puis tenus à jour.

En bref

Une transformation construit un dataset silver ou gold à partir d'autres datasets, dans votre entrepôt. L'agent IA écrit la requête ; vous la relisez et l'appliquez ; Northstar crée la vue ou la table et la tient à jour. Rien n'est construit tant que vous n'avez pas appliqué, et un dataset construit n'est jamais visible de plus d'équipes que ses entrées.

Du brouillon au dataset construit

Les transformations se préparent dans une session, listée sous En préparation sur la page Datasets. Une session contient jusqu'à 8 datasets.

Vous pouvez ouvrir une session de trois façons :

Créer un dataset → Créer avec l'IA sur la page Datasets ;
depuis les propositions publiées dans la conversation d'une source après une ingestion réussie ;
depuis un dataset, pour construire des datasets silver ou gold à partir de lui.

Dans la session :

Vous décrivez le dataset voulu. L'agent lit le schéma et un échantillon des datasets d'entrée. Les entrées doivent être actives, visibles pour vous et stockées dans le même entrepôt.
L'agent écrit une requête pour chaque dataset et en prévisualise le résultat. Un dataset peut lire un autre dataset de la même session : une chaîne bronze → silver → gold se prépare d'un coup.
Northstar vérifie la cible : que le compte de l'entrepôt peut créer la vue ou la table. Un droit manquant s'affiche avec l'instruction exacte à transmettre à l'administrateur de l'entrepôt.
Vous relisez chaque dataset : requête, aperçu, couche, cible et rafraîchissement.
Vous appliquez. Les datasets cochés sont construits dans l'entrepôt, dans l'ordre des dépendances, puis analysés.

Vue ou table

	Vue	Table
Stocké dans l'entrepôt	La requête seulement	Le résultat
À jour	Toujours : elle est calculée à la lecture	Après chaque rafraîchissement
Idéal pour	Requêtes légères, petits volumes	Jointures et agrégations lourdes, données lues souvent

L'agent en recommande une ; vous choisissez. Après la première construction, la couche, la cible et le choix vue ou table ne peuvent plus changer.

Rafraîchissement

Mode	Quand il s'applique
Après chaque mise à jour en amont	Une table dont les entrées sont rafraîchies par Northstar (une ingestion ou une autre transformation). Elle est reconstruite à chaque fois qu'elles le sont.
Selon un planning	Une table dont les entrées ne sont pas rafraîchies par Northstar. Quotidien par défaut ; vous pouvez changer le planning.
Pas de rafraîchissement	Une vue : elle est toujours à jour. Elle est seulement vérifiée quand les données en amont changent.

Versions

Chaque application crée une version. Les versions sont conservées : vous savez quelle requête a construit quelles données.

Sur un dataset géré, l'onglet SQL permet de changer la requête :

Modifiez la requête.
Prévisualiser : les premières lignes, les colonnes ajoutées, supprimées ou dont le type change, et les datasets construits à partir de celui-ci qui seront reconstruits. Un changement qui supprime une colonne utilisée par un autre dataset est signalé.
Appliquer : le dataset est reconstruit, puis les datasets construits à partir de lui.

Restaurer réapplique une version précédente, sous la forme d'une nouvelle version.

Cascade

Quand une ingestion charge de nouvelles données, tout ce qui est construit dessus suit, dans l'ordre :

les tables rafraîchies après chaque mise à jour en amont sont reconstruites ;
les vues sont vérifiées ;
chaque dataset reconstruit est analysé et ses alertes sont vérifiées.

Si un dataset échoue, les exécutions des datasets construits à partir de lui sont Ignorées pour ce rafraîchissement : ces datasets gardent leurs données précédentes au lieu d'être construits sur une entrée en échec.

Quand quelque chose change en amont

Si une colonne lue par une transformation est supprimée ou change de type, le rafraîchissement échoue avec Changement en amont. Les autres échecs sont étiquetés Droits, Erreur SQL, Cible, Dépendance ou Erreur de la plateforme.

Le dataset garde sa dernière construction réussie jusqu'à la correction.
La transformation passe En erreur, et le dataset comme sa source affichent un badge.
Une alerte est publiée dans la conversation de la session, une fois par nouvelle erreur. Réparer avec l'IA demande un correctif à l'agent. Le correctif est proposé à la relecture ; rien n'est appliqué sans vous.

Qui voit le résultat

Un dataset construit n'est jamais plus visible que ses entrées. À sa première construction, il reçoit les droits d'équipe que toutes ses entrées ont en commun.

Exemple : si l'entrée orders est partagée avec Ventes et Finance, et l'entrée customers avec Ventes seulement, le résultat est partagé avec Ventes.
Si les entrées n'ont aucune équipe en commun, seuls les administrateurs de la plateforme voient le résultat, jusqu'à ce qu'il soit attribué à une équipe.

L'auteur de la version devient propriétaire du dataset.

Questions fréquentes

Puis-je construire une transformation sur n'importe quel entrepôt ? Sur PostgreSQL, MySQL, ClickHouse et Snowflake. Voir systèmes de stockage.

Pourquoi ne puis-je pas passer un dataset construit de vue à table ? La cible est figée après la première construction. Créez un nouveau dataset avec l'autre choix.

Un rafraîchissement a échoué cette nuit. Mon tableau de bord affiche-t-il de faux chiffres ? Non. Le dataset garde sa dernière construction réussie, et son badge indique qu'il est en retard. Les chiffres sont ceux du dernier rafraîchissement réussi.