Menu de la documentation
Systèmes de stockage
Où sont stockés vos datasets et vos collections de documents, et comment les identifiants sont protégés.
En bref
Un système de stockage est une connexion vers un endroit où vivent vos données : un entrepôt SQL, ou un espace de fichiers comme un drive ou un bucket. Northstar y lit les datasets et les documents, et y écrit les datasets silver et gold qu'il construit. Les tables restent dans votre entrepôt : les requêtes s'exécutent là où sont les données.
Types pris en charge
| Famille | Types | À quoi ça sert |
|---|---|---|
| Entrepôts SQL | PostgreSQL, MySQL, ClickHouse, Snowflake, Amazon Redshift, Databricks, Google BigQuery, Microsoft Fabric | Datasets, KPIs, tableaux de bord, Chat et Exécuteur SQL |
| Espaces de fichiers | Amazon S3, Google Drive, OneDrive, SharePoint | Collections de documents (PDF), et fichiers tabulaires (CSV, TSV, Parquet) enregistrés comme datasets |
Tous les types ne font pas tout :
- Destinations d'ingestion. Un pipeline écrit avec l'agent d'ingestion peut charger dans PostgreSQL, MySQL, ClickHouse, Snowflake, Amazon Redshift, Databricks, Google BigQuery ou Amazon S3.
- Transformations. Northstar construit des datasets silver et gold sur PostgreSQL, MySQL, ClickHouse et Snowflake.
Identifiants
Vous saisissez les identifiants à l'enregistrement du système de stockage.
- Mots de passe, clés et secrets de connexion sont chiffrés avant d'être enregistrés. Ils ne sont plus jamais affichés : pour les changer, vous en saisissez de nouveaux.
- Chaque système affiche son état : Identifiants valides, Identifiants invalides ou Identifiants manquants.
- Tester la connexion vérifie les identifiants. Il faut d'abord en avoir saisi.
- Supprimer un système de stockage supprime aussi ses identifiants.
Où sont écrits les datasets silver et gold
Chaque entrepôt compatible avec les transformations a un schéma silver et un schéma gold. Sur ClickHouse, ce sont des bases.
- Laissez un champ vide pour garder la valeur par défaut :
silveretgold. - Les changer plus tard ne déplace rien : les datasets déjà construits gardent leur emplacement.
- Avant d'appliquer une transformation, Northstar vérifie que le compte peut écrire dans la cible et liste les droits manquants.
Questions fréquentes
Puis-je relire un mot de passe saisi ? Non. Les secrets sont chiffrés et ne sont plus jamais affichés. Saisissez de nouvelles valeurs pour les remplacer.
Pourquoi ne puis-je pas construire de dataset silver ou gold sur cet entrepôt ? Les transformations fonctionnent uniquement sur PostgreSQL, MySQL, ClickHouse et Snowflake. Sur les autres types, vous pouvez toujours enregistrer des datasets, définir des KPIs et construire des tableaux de bord.
Northstar copie-t-il mes tables ? Non. Les datasets sont interrogés là où ils se trouvent. Les pipelines d'ingestion chargent les données dans l'entrepôt que vous choisissez, et les collections de documents conservent un index du texte des PDF pour que le Chat puisse y chercher.