Dokumente mit der Funktion ML.PROCESS_DOCUMENT verarbeiten

Dieses Dokument beschreibt, wie die Funktion ML.PROCESS_DOCUMENT mit einem Remote-Modell verwendet wird, um nützliche Erkenntnisse aus Dokumenten in eine Objekttabelle zu extrahieren.

Unterstützte Standorte

Sie müssen das in diesem Verfahren verwendete Remote-Modell entweder in der Multiregion US oder EU erstellen. Sie müssen die ML.PROCESS_DOCUMENT-Funktion in derselben Region wie das Remote-Modell ausführen.

Erforderliche Berechtigungen

• Zum Erstellen eines Document AI-Prozessors benötigen Sie die folgende Rolle:

  • roles/documentai.editor

• Zum Erstellen einer Verbindung benötigen Sie die Mitgliedschaft in der folgenden Rolle:

  • roles/bigquery.connectionAdmin

• Zum Erstellen des Modells mit BigQuery ML benötigen Sie die folgenden Berechtigungen:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• Zum Ausführen von Inferenzen benötigen Sie die folgenden Berechtigungen:

  • bigquery.tables.getData für die Objekttabelle
  • bigquery.models.getData für das Modell
  • bigquery.jobs.create

Hinweise

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Zur Projektauswahl

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. BigQuery, BigQuery Connection API, and Document AI APIs aktivieren.

   Aktivieren Sie die APIs

5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Zur Projektauswahl

6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

7. BigQuery, BigQuery Connection API, and Document AI APIs aktivieren.

   Aktivieren Sie die APIs

Prozessor erstellen

Erstellen Sie einen Prozessor in Document AI, um die Dokumente zu verarbeiten. Der Prozessor muss einen unterstützten Typ haben.

Verbindung herstellen

Erstellen Sie eine Cloud-Ressourcenverbindung und rufen Sie das Dienstkonto der Verbindung ab.

Wählen Sie eine der folgenden Optionen aus:

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Zugriff auf das Dienstkonto gewähren

Wählen Sie eine der folgenden Optionen aus:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None

Wird die Berechtigung nicht erteilt, wird der Fehler Permission denied ausgegeben.

Dataset erstellen

Erstellen Sie ein Dataset, das das Modell und die Objekttabelle enthält.

Modell erstellen

Erstellen Sie ein Remote-Modell mit einem REMOTE_SERVICE_TYPE von CLOUD_AI_DOCUMENT_V1:

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  REMOTE_SERVICE_TYPE = 'CLOUD_AI_DOCUMENT_V1',
  DOCUMENT_PROCESSOR = 'projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION'
);

Ersetzen Sie Folgendes:

• PROJECT_ID ist Ihre Projekt-ID.
• DATASET_ID ist die ID des Datasets, das das Modell enthalten soll.
• MODEL_NAME ist der Name des Modells.
• REGION ist die Region, die von der Verbindung verwendet wird.
• CONNECTION_ID: die Verbindungs-ID, z. B. myconnection.

  Wenn Sie sich Verbindungsdetails in der Google Cloud Console ansehen, ist die Verbindungs-ID der Wert im letzten Abschnitt der voll qualifizierten Verbindungs-ID, der unter Verbindungs-ID angezeigt wird, z. B. projects/myproject/locations/connection_location/connections/myconnection.

• PROJECT_NUMBER: die Projektnummer des Projekts, das den Dokumentverarbeiter enthält. Um diesen Wert zu ermitteln, sehen Sie sich die Prozessordetails an, schauen Sie sich den Vorhersageendpunkt an und nehmen Sie den Wert, der auf das Element Projekte folgt, z. B. https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• LOCATION: der vom Dokumentverarbeiter verwendete Speicherort. Um diesen Wert zu ermitteln, sehen Sie sich die Prozessordetails an, schauen Sie sich den Vorhersageendpunkt an und nehmen Sie den Wert, der auf das Element Standort folgt, z. B. https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_ID: die Prozessor-ID des Dokuments. Um diesen Wert zu ermitteln, sehen Sie sich die Prozessordetails an, schauen Sie sich den Vorhersageendpunkt an und nehmen Sie den Wert, der auf das Element Prozessoren folgt, z. B. https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_VERSION: die Prozessorversion des Dokuments. Um diesen Wert zu ermitteln, sehen Sie sich die Prozessordetails an, wählen Sie den Tab Versionen verwalten aus und kopieren Sie den Wert Versions-ID der Version, die Sie verwenden möchten.

Klicken Sie nach dem Erstellen des Modells im Abfrageergebnis auf Zum Modell, um die Spalten der Modellausgabe aufzurufen. Die Ausgabespalten werden im Abschnitt Labels auf dem Tab Schema angezeigt.

Objekttabelle erstellen

Erstellen Sie eine Objekttabelle für eine Reihe von Dokumenten in Cloud Storage. Die Dokumente in der Objekttabelle müssen einen unterstützten Typ haben.

Dokumente verarbeiten

Verarbeiten Sie die Dokumente mit der Funktion ML.PROCESS_DOCUMENT:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE `PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME`
);

Ersetzen Sie Folgendes:

• PROJECT_ID ist Ihre Projekt-ID.
• DATASET_ID ist die ID des Datasets, das das Modell enthält.
• MODEL_NAME ist der Name des Modells.
• OBJECT_TABLE_NAME: der Name der Objekttabelle, die die URIs der zu verarbeitenden Dokumente enthält.

Beispiele

Beispiel 1

Im folgenden Beispiel wird der Kostenparser verwendet, um die in der Tabelle documents dargestellten Dokumente zu verarbeiten:

SELECT *
FROM ML.PROCESS_DOCUMENT(
  MODEL `myproject.mydataset.expense_parser`,
  TABLE `myproject.mydataset.documents`
);

Diese Abfrage gibt die geparsten Ausgabenberichte zurück, einschließlich der Währung, des Gesamtbetrags, des Belegdatums und der Positionen in den Kostenberichten. Die Spalte ml_process_document_result enthält die Rohausgabe des Kostenparsers und die Spalte ml_process_document_status enthält alle Fehler, die von der Dokumentverarbeitung zurückgegeben werden.

Beispiel 2

Das folgende Beispiel zeigt, wie Sie die Objekttabelle filtern, um die zu verarbeitenden Dokumente auszuwählen und die Ergebnisse anschließend in eine Tabelle zu schreiben:

CREATE TABLE `myproject.mydataset.expense_details`
AS
SELECT uri, content_type, receipt_date, purchase_time, total_amount, currency
FROM
  ML.PROCESS_DOCUMENT(
    MODEL `myproject.mydataset.expense_parser`, TABLE `myproject.mydataset.expense_reports`)
WHERE uri LIKE '%restaurant%';

Nächste Schritte

• Weitere Informationen zur Modellinferenz in BigQuery ML finden Sie unter Modellinferenz.
• Informationen zu den unterstützten SQL-Anweisungen und -Funktionen für die einzelnen Modelltypen finden Sie unter End-to-End-Nutzerpfad für jedes Modell.