Menu de la documentation
Ce qui se met à jour seul
La chaîne de rafraîchissements qui suit l'arrivée de nouvelles données, et où la suivre.
En bref
Quand de nouvelles données arrivent, Northstar met à jour ce qui en dépend, dans l'ordre : datasets, analyses, alertes. Les KPIs et le Smart Cockpit sont calculés chaque jour, et les recommandations IA sont rafraîchies en arrière-plan. La page Workflows montre les traitements planifiés liés aux datasets que vous voyez, et leurs dernières exécutions.
La chaîne de rafraîchissement
Voici ce qui se passe, étape par étape, après qu'une ingestion a chargé de nouvelles données :
- L'ingestion s'exécute, selon sa planification ou quand quelqu'un la lance.
- Les tables chargées sont enregistrées comme datasets bronze.
- Les datasets construits dessus sont reconstruits : les tables rafraîchies après chaque mise à jour en amont, dans l'ordre des dépendances. Les vues sont vérifiées.
- Chaque dataset reconstruit est analysé : règles de validation, score de qualité et alertes précoces.
- Les alertes de ces datasets sont vérifiées, et leurs propriétaires reçoivent un e-mail quand une condition est remplie.
Si une étape échoue, ce qui en dépend est ignoré et garde ses dernières données réussies. Voir la cascade.
Autres rafraîchissements :
- Transformations planifiées : les tables dont les entrées ne sont pas rafraîchies par Northstar sont reconstruites selon leur propre planning. Les rafraîchissements dus sont vérifiés toutes les 5 minutes.
- Datasets non construits par Northstar : ils sont analysés quand quelqu'un lance une analyse depuis l'onglet Qualité, ou quand une pipeline de données la demande par l'API.
- Collections de documents : elles sont synchronisées quand quelqu'un clique sur Resynchroniser, ou quand une pipeline le demande.
Les KPIs et le Smart Cockpit
- Un KPI est calculé à sa création ou à sa modification.
- Chaque jour, tous les KPIs sont recalculés, puis les insights et le résumé exécutif du Smart Cockpit sont rédigés pour chaque personne qui a un cockpit.
Un KPI montre donc les données telles qu'elles étaient à son dernier calcul. Voir les KPIs.
Les recommandations IA
- Les recommandations de KPIs et de validations sont rafraîchies toutes les 10 minutes pour les datasets suffisamment documentés.
- Les descriptions de colonnes demandées avec Générer toutes les métadonnées manquantes sont rédigées en arrière-plan. Elles apparaissent comme suggestions quand elles sont prêtes.
- Les propositions silver et gold sont publiées après une ingestion réussie, quand rien n'est encore construit sur les tables de la source.
La page Workflows
Workflows liste les traitements planifiés et les pipelines liés aux datasets et aux sources que vous voyez : les ingestions de données, et les pipelines des datasets externes.
Pour chaque workflow, vous voyez sa planification, s'il est en pause, ses déclencheurs et ses dernières exécutions. Une exécution est en cours, terminée, échouée, plantée ou annulée.
Selon votre rôle, vous pouvez :
- Mettre en pause ou Reprendre sa planification ;
- Déclencher l'exécution pour la lancer tout de suite ;
- Rafraîchir la configuration pour relire les derniers plannings et déclencheurs. Cela se fait aussi automatiquement chaque semaine.
Questions fréquentes
Mon tableau de bord affiche les chiffres d'hier. Pourquoi ? Remontez la chaîne : la dernière ingestion de la source a-t-elle réussi ? Le dataset a-t-il été reconstruit ? Les KPIs sont calculés une fois par jour : un KPI peut être en retard sur son dataset.
Puis-je rafraîchir un KPI plus souvent ? Modifier un KPI le recalcule aussitôt. Sinon, les KPIs suivent le calcul quotidien.
Où voir pourquoi un rafraîchissement a échoué ? Dans les exécutions de la source pour une ingestion, dans l'onglet Transformation du dataset pour une transformation, et sur la page Workflows pour les autres traitements.