Delta Lake BigLake テーブルを作成する

この機能に関するフィードバックやサポートのリクエストを行う場合は、[email protected] 宛てにメールをお送りください。

BigLake を使用すると、きめ細かなアクセス制御で Delta Lake テーブルにアクセスできます。Delta Lake は、Databricks が開発したオープンソースの表形式データのストレージ フォーマットで、ペタバイト規模のデータテーブルをサポートしています。

BigQuery では、Delta Lake テーブルに対して次の機能をサポートしています。

• アクセス権の委任: アクセス権の委任を使用して、外部データストアの構造化データをクエリします。アクセス権の委任により、Delta Lake テーブルへのアクセスを、基盤となるデータストアへのアクセスから切り離すことができます。
• きめ細かいアクセス制御: テーブルレベルできめ細かいセキュリティを適用します。たとえば、行レベルと列レベルのセキュリティを提供します。Cloud Storage に基づく Delta Lake テーブルの場合は、動的データ マスキングも使用できます。
• スキーマ進化: Delta Lake テーブルのスキーマの変更が自動的に検出されます。スキーマの変更は BigQuery テーブルに反映されます。

Delta Lake テーブルを BigLake テーブルとして構成すると、BigLake のすべての機能がサポートされます。

始める前に

1. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

   プロジェクト セレクタに移動

2. Google Cloud プロジェクトで課金が有効になっていることを確認します。

3. BigQuery Connection and BigQuery Reservation API を有効にします。

   API を有効にする

4. Google Cloud コンソールで、「Cloud Shell をアクティブにする」をクリックします。

   Cloud Shell をアクティブにする

5. BigQuery データセットがあることを確認します。

6. Google Cloud SDK のバージョンが 366.0.0 以降であることを確認します。

   gcloud version
   

   必要に応じて、Google Cloud SDK を更新します。

7. 外部データソースに基づいてクラウド リソース接続を作成し、その接続に Cloud Storage へのアクセス権を付与します。接続を作成するための適切な権限が付与されていない場合は、接続を作成して共有するよう BigQuery 管理者に依頼してください。

必要なロール

Delta Lake テーブルを作成するには、次の権限が必要です。

• bigquery.tables.create
• bigquery.connections.delegate

BigQuery 管理者（roles/bigquery.admin）IAM 事前定義ロールには、これらの権限が含まれています。

このロールのプリンシパルでない場合は、これらの権限の付与、または Delta Lake テーブルの作成を管理者に依頼してください。

また、BigQuery ユーザーがテーブルにクエリを実行できるようにするには、接続に関連付けられたサービス アカウントに次の権限とアクセス権が必要です。

• BigQuery 閲覧者（roles/bigquery.viewer）ロール
• BigQuery 接続ユーザー（roles/bigquery.connectionUser）ロール
• そのデータを含む Cloud Storage バケットへのアクセス権

BigQuery での Identity and Access Management のロールと権限の詳細については、事前定義ロールと権限をご覧ください。

Delta Lake でテーブルを作成する

Delta Lake テーブルを作成するには、次の操作を行います。

CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.DELTALAKE_TABLE_NAME`
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  format ="DELTA_LAKE",
  uris=['DELTA_TABLE_GCS_BASE_PATH']);

bq mk --table --external_table_definition=DEFINITION_FILE PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "autodetect": true,
  "externalDataConfiguration": {
  "sourceFormat": "DELTA_LAKE",
  "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
  "sourceUris": [
    "DELTA_TABLE_GCS_BASE_PATH"
  ],
 },
"tableReference": {
"tableId": "DELTALAKE_TABLE_NAME"
}
}'

echo $REQUEST | curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables?autodetect_schema=true

Delta Lake テーブルを作成するときに、Delta Lake 接頭辞がテーブルの URI として使用されます。たとえば、バケット gs://bucket/warehouse/basictable/_delta_log にログがあるテーブルの場合、テーブルの URI は gs://bucket/warehouse/basictable になります。Delta Lake テーブルにクエリを実行すると、BigQuery は接頭辞の下にあるデータを読み取ってテーブルの現在のバージョンを識別し、テーブルのメタデータとファイルを計算します。

Delta Lake テーブルを更新する

Delta Lake テーブルのスキーマを更新するには、次の操作を行います。

bq update --autodetect_schema PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "externalDataConfiguration": {
    "sourceFormat": "DELTA_LAKE",
    "sourceUris": [
      "DELTA_TABLE_GCS_BASE_PATH"
    ],
    "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
    "autodetect": true
  },
  "tableReference": {
    "tableId": "DELTALAKE_TABLE_NAME"
  }
}'
echo $REQUEST |curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables

Delta Lake テーブルをクエリする

Delta Lake BigLake テーブルを作成すると、標準の BigQuery テーブルと同じように GoogleSQL 構文を使用してクエリを実行できます。次に例を示します。

SELECT field1, field2 FROM mydataset.my_cloud_storage_table;

詳細については、BigLake テーブルの Cloud Storage データに対してクエリを行うをご覧ください。

データストアへの接続には、サービス アカウントに関連付けられた外部接続が使用されます。サービス アカウントがデータストアからデータを取得するため、ユーザーは Delta Lake テーブルにアクセスするだけで済みます。

データ マッピング

BigQuery は、次の表に示すように Delta Lake のデータ型を BigQuery のデータ型に変換します。

制限事項

Delta Lake テーブルには、BigLake テーブルの制限のほかに、次の制限もあります。

• 削除ベクトルと列マッピングのある Delta Lake リーダー バージョン 3 がサポートされます。
• 最後のログエントリ ファイルにリーダー バージョンをリストする必要があります。たとえば、新しいテーブルには 00000..0.json を含める必要があります。
• 変更データ キャプチャ（CDC）オペレーションはサポートされていません。既存の CDC オペレーションは無視されます。
• スキーマは自動検出されます。BigQuery を使用してスキーマを変更することはできません。
• テーブルの列名は、BigQuery の列名の制限事項に準拠している必要があります。
• マテリアライズド ビューはサポートされていません。
• Read API は Delta Lake ではサポートされていません。