Menu de la documentation
Sources et ingestion
Comment les données entrent dans la plateforme, avec ou sans l'agent d'ingestion.
En bref
Une source est l'origine des données : un CRM, une API interne, un outil SaaS. Une ingestion est la pipeline qui la charge dans l'un de vos entrepôts. Vous pouvez décrire les données voulues et laisser l'agent d'ingestion écrire et tester la pipeline, ou enregistrer une pipeline qui tourne déjà ailleurs. Chaque table chargée par une pipeline devient un dataset bronze, rattaché à sa source.
Source et ingestion
- La source est l'entrée du catalogue : nom, logo, catégorie et santé.
- L'ingestion est la pipeline qui charge la source : son code, sa configuration, ses versions et chacune de ses exécutions.
Une source a au plus une ingestion.
Sources gérées, externes et brouillons
| Origine | Ce que cela veut dire |
|---|---|
| Gérée | Une ingestion écrite avec l'agent IA alimente cette source. Son code, ses versions et ses exécutions sont visibles dans Northstar. |
| Externe | Une pipeline qui tourne hors de Northstar et qui a été enregistrée à la main. Northstar suit sa santé ; le code est ailleurs. |
| Brouillon | Une ingestion en cours d'écriture avec l'agent. Elle devient une source du catalogue une fois déployée. |
Le menu Nouvelle source propose les deux entrées : Avec l'agent IA, ou Enregistrer une pipeline existante. Une source externe peut être reprise plus tard avec Gérer avec l'agent IA.
L'agent d'ingestion
Vous décrivez les données voulues, par exemple « les opportunités et les comptes Salesforce ». Vous pouvez coller des liens vers la documentation d'une API interne. L'agent avance ensuite par étapes :
- Il se renseigne sur la source et vous fait trancher là où c'est utile, chaque fois avec une option recommandée.
- Il demande les identifiants par un formulaire hors de la conversation. Les valeurs sont chiffrées dès l'envoi : ni l'agent ni la conversation ne les voient. Seuls leurs noms restent affichés.
- Il écrit la pipeline et sa configuration : les tables à charger, la façon d'écrire chacune (Ajout, Remplacement ou Fusion sur une clé) et la planification.
- Il teste la pipeline sur un échantillon, dans un environnement isolé, et montre les tables, le nombre de lignes et un aperçu.
- Vous relisez la configuration, le code et l'aperçu. Vous pouvez les modifier ; toute modification demande un nouveau test.
- Vous déployez avec Approuver et déployer. Cela crée une version, la planifie et lance une première exécution.
Exécutions et planification
Chaque exécution d'une ingestion a un mode :
- Test : lancée par l'agent sur un échantillon, avant le déploiement.
- Manuelle : lancée avec Lancer maintenant.
- Planifiée : lancée par la planification de l'ingestion. Sans planification, l'ingestion ne tourne qu'à la main.
Une exécution est En file d'attente, En cours, puis Réussie ou Échouée. Une exécution encore en file d'attente au bout de 30 minutes est marquée comme échouée. Suspendre arrête les exécutions planifiées ; Reprendre les relance.
Chaque déploiement crée une nouvelle version. Une version ne change plus ensuite : vous savez toujours quel code a chargé quelles données.
Après une exécution réussie
Après chaque exécution manuelle ou planifiée réussie, Northstar fait trois choses :
- Il enregistre chaque table chargée comme dataset bronze, rattaché à la source.
- Il rafraîchit ce qui est construit sur ces tables : les datasets silver et gold qui en dépendent sont reconstruits, puis analysés. Voir la chaîne de rafraîchissement.
- Il peut proposer des datasets silver et gold dans la conversation de la source, quand rien n'est encore construit sur ses tables. Vous pouvez ouvrir une session à partir de ces propositions, ou les mettre de côté avec Plus tard : de nouvelles propositions arrivent quand les tables de la source changent.
Santé
Chaque source affiche la santé de sa dernière exécution : Saine, Dégradée, Synchronisation en cours ou Inconnu. La page d'accueil affiche la part de synchronisations réussies sur les dernières 24 heures.
Questions fréquentes
Que deviennent les données si je supprime une source ? Les datasets déjà chargés sont conservés. Supprimer une source gérée supprime aussi son ingestion : versions, exécutions et conversation.
Qui peut remplir le formulaire d'identifiants ? Un éditeur de l'ingestion. Les valeurs ne sont jamais visibles, pas même pour la personne qui les a saisies.
Puis-je modifier le code écrit par l'agent ? Oui, dans la carte de revue. Le code modifié doit passer un nouveau test avant de pouvoir être déployé.