Les magasins de données sont utilisés par les agents de datastore pour trouver des réponses aux questions des utilisateurs finaux à partir de vos données. Les data stores sont des ensembles de sites Web et de documents, chacun faisant référence à vos données.
Lorsqu'un utilisateur final pose une question à l'agent, celui-ci recherche une réponse à partir du contenu source donné et résume les résultats dans une réponse cohérente de l'agent. Elle fournit également des liens vers les sources de la réponse pour que l'utilisateur final puisse en savoir plus. L'agent peut fournir jusqu'à cinq extraits de réponse pour une question donnée.
Sources du data store
Vous pouvez fournir différentes sources pour vos données:
- URL de sites Web : explorez automatiquement le contenu de site Web à partir d'une liste de domaines ou de pages Web.
- BigQuery : importez des données depuis votre table BigQuery.
- Cloud Storage : importez des données depuis votre bucket Cloud Storage.
Contenu de site Web
Lorsque vous ajoutez le contenu d'un site Web comme source,
vous pouvez ajouter et exclure plusieurs sites.
Lorsque vous spécifiez un site, vous pouvez utiliser des pages individuelles ou * comme caractère générique pour un format.
Tout le contenu HTML et PDF sera traité.
Vous devez valider votre domaine lorsque vous utilisez le contenu d'un site Web en tant que source.
Limites :
- Les fichiers d'URL publiques doivent avoir été explorés par l'indexeur de la recherche Google pour être présents dans l'index de recherche. Vous pouvez vérifier cela à l'aide de la Google Search Console.
- 200 000 pages indexées au maximum. Si le data store contient davantage de pages, l'indexation échoue et le dernier contenu indexé est conservé.
Importer des données
Vous pouvez importer vos données à partir de BigQuery ou de Cloud Storage. Ces données peuvent être structurées ou non structurées, et peuvent être avec des métadonnées ou sans métadonnées.
Les options d'importation de données suivantes sont disponibles:
- Add/Update Data (Ajouter/Mettre à jour des données) : les documents fournis sont ajoutés au data store. Si un nouveau document a le même ID qu'un ancien document, le nouveau remplace l'ancien.
- Remplacer les données existantes : toutes les anciennes données sont supprimées, puis les nouvelles données sont importées. Cette opération est irréversible.
Data store structurées
Les magasins de données structurées peuvent contenir des réponses aux questions fréquentes. Lorsque les questions d'un utilisateur sont associées avec un niveau de confiance élevé à une question importée, l'agent renvoie la réponse à cette question sans aucune modification. Vous pouvez fournir un titre et une URL pour chaque paire question/réponse affichée par l'agent.
Lors de l'importation de données dans le data store, vous devez utiliser le format CSV. Chaque fichier doit comporter une ligne d'en-tête décrivant les colonnes.
Exemple :
"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""
Les colonnes title et url sont facultatives et peuvent être omises:
"answer","question"
"42","What is the meaning of life?"
Au cours du processus d'importation, vous pouvez sélectionner un dossier dans lequel chaque fichier sera traité comme un fichier CSV, quelle que soit son extension.
Limites :
- Un espace superflu après
,provoque une erreur. - Les lignes vides (même à la fin du fichier) provoquent une erreur.
Data store non structuré
Les data stores non structurés peuvent contenir du contenu aux formats suivants:
- HTML
- TXT
- CSV
Limites :
- La taille maximale des fichiers est de 2,5 Mo pour les formats texte et de 100 Mo pour les autres formats.
Data store avec métadonnées
Un titre et une URL peuvent être fournis en tant que métadonnées. Lorsque l'agent est dans une conversation avec un utilisateur, il peut lui fournir ces informations. Cela peut aider les utilisateurs à créer rapidement des liens vers des pages Web internes auxquelles l'indexer de la recherche Google n'a pas accès.
Pour importer du contenu avec des métadonnées, vous devez fournir un ou plusieurs fichiers JSON Lines. Chaque ligne de ce fichier décrit un document. Vous n'importez pas directement les documents. Les URI qui renvoient aux chemins d'accès Cloud Storage sont fournis dans le fichier JSON Lines.
Lorsque vous fournissez vos fichiers de lignes JSON, vous fournissez un dossier Cloud Storage contenant ces fichiers. Ne placez pas d'autres fichiers dans ce dossier.
Description des champs:
| Champ | Type | Description |
|---|---|---|
| id | chaîne | Identifiant unique du document. |
| content.mimeType | chaîne | Type MIME du document. "application/pdf" et "text/html" sont acceptés. |
| content.uri | chaîne | URI du document dans Cloud Storage. |
| content.structData | chaîne | Objet JSON sur une seule ligne avec les champs title et url facultatifs. |
Exemple :
{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }
Datastore sans métadonnées
Ce type de contenu ne comporte pas de métadonnées. Il vous suffit de fournir les documents à importer. Le type de contenu est déterminé par l'extension du fichier.
Analyser et fragmenter la configuration
Selon la source de données, vous pourrez peut-être configurer les paramètres d'analyse et de fragment tels que définis par Vertex AI Search.
Créer un data store
Pour créer un data store:
Accédez à la console Agent Builder:
Sélectionnez votre projet dans la liste déroulante de la console.
Lisez et acceptez les conditions d'utilisation, puis cliquez sur Continuer et activer l'API.
Cliquez sur Data stores dans le panneau de navigation de gauche.
Cliquez sur Nouveau data store.
Choisissez une source de données.
Activez l'indexation avancée de site Web. Cette étape est obligatoire pour les agents de data store.
Fournissez des données et une configuration pour la source du data store que vous avez sélectionnée. L'emplacement de votre data store doit correspondre à l'emplacement de l'agent.
Cliquez sur Créer pour créer le data store.
Vous pouvez également définir la langue du data store:
- Dans la liste des data stores, cliquez sur le data store que vous venez de créer.
- Cliquez sur le bouton de modification correspondant au paramètre de langue.
- Sélectionnez une langue, puis cliquez sur la coche pour l'appliquer.
Utiliser Cloud Storage pour un document de data store
Si votre contenu n'est pas public, nous vous recommandons de le stocker dans Cloud Storage.
Lorsque vous créez des documents de data store, vous fournissez les URL de vos objets Cloud Storage au format suivant : gs://bucket-name/folder-name.
Chaque document du dossier est ajouté au data store.
Lors de la création d'un bucket Cloud Storage :
- Assurez-vous d'avoir sélectionné le projet que vous utilisez pour l'agent.
- Utilisez la classe Stockage standard.
- Définissez l'emplacement du bucket sur le même emplacement que l'agent.
Suivez les instructions de la page Démarrage rapide de Cloud Storage pour créer un bucket et importer des fichiers.
Langues
Pour connaître les langues prises en charge, consultez la colonne du data store dans la documentation de référence du langage Dialogflow.
Pour des performances optimales, il est recommandé de créer les data stores dans une seule langue.
Après avoir créé un data store, vous pouvez éventuellement spécifier la langue du data store. Si vous définissez la langue du data store, vous pouvez le connecter à un agent de datastore configuré pour une autre langue. Par exemple, vous pouvez créer un data store français associé à un agent anglais.
Régions où le service est disponible
Pour connaître les régions compatibles, consultez la documentation de référence sur les régions Dialogflow.