Delta Lake BigLake-Tabellen erstellen

Wenn Sie Feedback oder Unterstützung für dieses Feature benötigen, senden Sie eine E-Mail an [email protected].

Mit BigLake können Sie über eine detaillierte Zugriffssteuerung auf Delta Lake-Tabellen zugreifen. Delta Lake ist ein von Databricks entwickeltes Open-Source-Tabellenformat zur Speicherung tabellarischer Daten, das Datentabellen im Petabytebereich unterstützt.

BigQuery unterstützt die folgenden Features mit Delta Lake-Tabellen:

• Zugriffsdelegation: Fragen Sie strukturierte Daten in externen Datenspeichern mit Zugriffsdelegation ab. Durch die Zugriffsdelegation wird der Zugriff auf die Delta Lake-Tabelle vom Zugriff auf den zugrunde liegenden Datenspeicher entkoppelt.
• Detaillierte Zugriffssteuerung: Detaillierte Sicherheit auf Tabellenebene erzwingen, einschließlich Sicherheit auf Zeilenebene und Spaltenebene. Für Delta Lake-Tabellen, die auf Cloud Storage basieren, können Sie auch die dynamische Datenmaskierung verwenden.
• Schemaentwicklung: Schemaänderungen in den Delta Lake-Tabellen werden automatisch erkannt. Änderungen am Schema werden in die BigQuery-Tabelle übernommen.

Delta Lake-Tabellen unterstützen alle BigLake-Features, wenn Sie sie als BigLake-Tabellen konfigurieren.

Hinweise

1. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Zur Projektauswahl

2. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

3. BigQuery Connection and BigQuery Reservation APIs aktivieren.

   Aktivieren Sie die APIs

4. Aktivieren Sie Cloud Shell in der Google Cloud Console.

   Cloud Shell aktivieren

5. Sorgen Sie dafür, dass Sie ein BigQuery-Dataset haben.

6. Prüfen Sie, ob Ihre Version des Google Cloud SDK 366.0.0 oder höher ist:

   gcloud version
   

   Aktualisieren Sie das Google Cloud SDK bei Bedarf.

7. Erstellen Sie eine Cloud-Ressourcenverbindung anhand der externen Datenquelle und gewähren Sie dieser Verbindung Zugriff auf Cloud Storage. Wenn Sie nicht die erforderlichen Berechtigungen zum Erstellen einer Verbindung haben, bitten Sie Ihren BigQuery-Administrator, eine Verbindung zu erstellen und die Verbindung mit Ihnen zu teilen.

Erforderliche Rollen

Die folgenden Berechtigungen sind zum Erstellen einer Delta Lake-Tabelle erforderlich:

• bigquery.tables.create
• bigquery.connections.delegate

Die vordefinierte IAM-Rolle „Identity and Access Management“ (BigQuery) (roles/bigquery.admin) enthält diese Berechtigungen.

Wenn Sie in dieser Rolle kein Hauptkonto darstellen, bitten Sie Ihren Administrator, Ihnen diese Berechtigungen zu gewähren oder die Delta Lake-Tabelle für Sie zu erstellen.

Darüber hinaus muss das mit der Verbindung verknüpfte Dienstkonto die folgende Berechtigung und den folgenden Zugriff haben, damit BigQuery-Nutzer die Tabelle abfragen können:

• Rolle „BigQuery-Betrachter“ (roles/bigquery.viewer)
• Rolle „BigQuery-Verbindungsnutzer“ (roles/bigquery.connectionUser)
• Zugriff auf den Cloud Storage-Bucket, der diese Daten enthält

Weitere Informationen zu Rollen und Berechtigungen für das Identity and Access Management in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.

Tabellen mit Delta Lake erstellen

So erstellen Sie Delta Lake-Tabellen:

CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.DELTALAKE_TABLE_NAME`
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  format ="DELTA_LAKE",
  uris=['DELTA_TABLE_GCS_BASE_PATH']);

bq mk --table --external_table_definition=DEFINITION_FILE PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "autodetect": true,
  "externalDataConfiguration": {
  "sourceFormat": "DELTA_LAKE",
  "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
  "sourceUris": [
    "DELTA_TABLE_GCS_BASE_PATH"
  ],
 },
"tableReference": {
"tableId": "DELTALAKE_TABLE_NAME"
}
}'

echo $REQUEST | curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables?autodetect_schema=true

Wenn Sie Delta Lake-Tabellen erstellen, wird das Delta Lake-Präfix als URI für die Tabelle verwendet. Für eine Tabelle mit Logs im Bucket gs://bucket/warehouse/basictable/_delta_log lautet der Tabellen-URI beispielsweise gs://bucket/warehouse/basictable. Wenn Sie Abfragen für die Delta Lake-Tabelle ausführen, liest BigQuery Daten unter dem Präfix, um die aktuelle Version der Tabelle zu ermitteln, und berechnet dann die Metadaten und die Dateien für die Tabelle.

Delta Lake-Tabellen aktualisieren

So aktualisieren (erfrischen) Sie das Schema von Delta Lake-Tabellen:

bq update --autodetect_schema PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "externalDataConfiguration": {
    "sourceFormat": "DELTA_LAKE",
    "sourceUris": [
      "DELTA_TABLE_GCS_BASE_PATH"
    ],
    "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
    "autodetect": true
  },
  "tableReference": {
    "tableId": "DELTALAKE_TABLE_NAME"
  }
}'
echo $REQUEST |curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables

Delta Lake-Tabellen abfragen

Nachdem Sie eine Delta Lake-BigLake-Tabelle erstellt haben, können Sie sie mit der GoogleSQL-Syntax abfragen, genauso wie eine Standard-BigQuery-Tabelle. Beispiel:

SELECT field1, field2 FROM mydataset.my_cloud_storage_table;

Weitere Informationen finden Sie unter Cloud Storage-Daten in BigLake-Tabellen abfragen.

Für den Verbindungsaufbau zum Datenspeicher wird eine externe Verbindung verwendet, die mit einem Dienstkonto verknüpft ist. Da das Dienstkonto Daten aus dem Datenspeicher abruft, benötigen Nutzer nur Zugriff auf die Delta Lake-Tabelle.

Datenabgleich

BigQuery konvertiert Delta Lake-Datentypen in BigQuery-Datentypen, wie in der folgenden Tabelle dargestellt:

Beschränkungen

Für Delta Lake-Tabellen gelten BigLake-Tabelleneinschränkungen sowie die folgenden Einschränkungen:

• Unterstützt die Delta Lake-Leserversion 3 mit Löschvektoren und Spaltenzuordnung.
• Sie müssen die Leserversion in der letzten Logeintragsdatei auflisten. Neue Tabellen müssen beispielsweise 00000..0.json enthalten.
• CDC-Vorgänge (Change Data Capture) werden nicht unterstützt. Alle vorhandenen CDC-Vorgänge werden ignoriert.
• Das Schema wird automatisch erkannt. Das Ändern des Schemas mit BigQuery wird nicht unterstützt.
• Die Namen der Tabellenspalten müssen den Einschränkungen für Spaltennamen von BigQuery entsprechen.
• Materialisierte Ansichten werden nicht unterstützt.
• Die Read API wird für Delta Lake nicht unterstützt.