使用预训练的 TensorFlow 模型嵌入文本

SQL

使用 CREATE SCHEMA 语句：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   CREATE SCHEMA `PROJECT_ID.tf_models_tutorial`;
   

   将 PROJECT_ID 替换为您的项目 ID。

3. 点击 play_circle 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

bq

1. 在 Google Cloud 控制台中，激活 Cloud Shell。

   激活 Cloud Shell

2. 如需创建数据集，请运行 bq mk 命令：

   bq mk --dataset --location=us PROJECT_ID:tf_models_tutorial
   

   将 PROJECT_ID 替换为您的项目 ID。

NNLM

1. 使用 pip 安装 bigquery-ml-utils 库：

   pip install bigquery-ml-utils
   

2. 生成 NNLM 模型。以下 Python 代码从 TensorFlow Hub 加载了 NNLM 模型，并为其准备了 BigQuery：

   from bigquery_ml_utils import model_generator
   
   # Establish an instance of TextEmbeddingModelGenerator.
   text_embedding_model_generator = model_generator.TextEmbeddingModelGenerator()
   
   # Generate an NNLM model.
   text_embedding_model_generator.generate_text_embedding_model('nnlm', OUTPUT_MODEL_PATH)
   

   将 OUTPUT_MODEL_PATH 替换为本地文件夹的路径，您可以在其中临时存储模型。

3. 可选：输出生成的模型的签名：

   import tensorflow as tf
   
   reload_embedding_model = tf.saved_model.load(OUTPUT_MODEL_PATH)
   print(reload_embedding_model.signatures["serving_default"])
   

4. 如需将生成的模型从本地文件夹复制到 Cloud Storage 存储桶，请使用 gsutil 工具：

   gsutil cp -r OUTPUT_MODEL_PATH gs://BUCKET_PATH/nnlm_model
   

   将 BUCKET_PATH 替换为要将模型复制到的 Cloud Storage 存储桶的名称。

SWIVEL

1. 使用 pip 安装 bigquery-ml-utils 库：

   pip install bigquery-ml-utils
   

2. 生成 SWIVEL 模型。以下 Python 代码从 TensorFlow Hub 加载 SWIVEL 模型，并为其准备 BigQuery：

   from bigquery_ml_utils import model_generator
   
   # Establish an instance of TextEmbeddingModelGenerator.
   text_embedding_model_generator = model_generator.TextEmbeddingModelGenerator()
   
   # Generate a SWIVEL model.
   text_embedding_model_generator.generate_text_embedding_model('swivel', OUTPUT_MODEL_PATH)
   

   将 OUTPUT_MODEL_PATH 替换为本地文件夹的路径，您可以在其中临时存储模型。

3. 可选：输出生成的模型的签名：

   import tensorflow as tf
   
   reload_embedding_model = tf.saved_model.load(OUTPUT_MODEL_PATH)
   print(reload_embedding_model.signatures["serving_default"])
   

4. 如需将生成的模型从本地文件夹复制到 Cloud Storage 存储桶，请使用 gsutil 工具：

   gsutil cp -r OUTPUT_MODEL_PATH gs://BUCKET_PATH/swivel_model
   

   将 BUCKET_PATH 替换为要将模型复制到的 Cloud Storage 存储桶的名称。

BERT

1. 使用 pip 安装 bigquery-ml-utils 库：

   pip install bigquery-ml-utils
   

2. 生成 BERT 模型。以下 Python 代码从 TensorFlow Hub 加载 BERT 模型，并为其准备了 BigQuery：

   from bigquery_ml_utils import model_generator
   
   # Establish an instance of TextEmbeddingModelGenerator.
   text_embedding_model_generator = model_generator.TextEmbeddingModelGenerator()
   
   # Generate a BERT model.
   text_embedding_model_generator.generate_text_embedding_model('bert', OUTPUT_MODEL_PATH)
   

   将 OUTPUT_MODEL_PATH 替换为本地文件夹的路径，您可以在其中临时存储模型。

3. 可选：输出生成的模型的签名：

   import tensorflow as tf
   
   reload_embedding_model = tf.saved_model.load(OUTPUT_MODEL_PATH)
   print(reload_embedding_model.signatures["serving_default"])
   

4. 如需将生成的模型从本地文件夹复制到 Cloud Storage 存储桶，请使用 gsutil 工具：

   gsutil cp -r OUTPUT_MODEL_PATH gs://BUCKET_PATH/bert_model
   

   将 BUCKET_PATH 替换为要将模型复制到的 Cloud Storage 存储桶的名称。

NNLM

使用 CREATE MODEL 语句：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   CREATE OR REPLACE MODEL tf_models_tutorial.nnlm_model
   OPTIONS (
     model_type = 'TENSORFLOW',
     model_path = 'gs://BUCKET_NAME/nnlm_model/*');
   

   将 BUCKET_NAME 替换为您之前创建的存储桶的名称。

3. 点击 play_circle 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

SWIVEL

使用 CREATE MODEL 语句：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   CREATE OR REPLACE MODEL tf_models_tutorial.swivel_model
   OPTIONS (
     model_type = 'TENSORFLOW',
     model_path = 'gs://BUCKET_NAME/swivel_model/*');
   

   将 BUCKET_NAME 替换为您之前创建的存储桶的名称。

3. 点击 play_circle 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

BERT

如需将 BERT 模型加载到 BigQuery，请将 BERT 模型导入 Vertex AI，将模型部署到 Vertex AI 端点，创建连接，然后在 BigQuery 中创建远程模型。

如需将 BERT 模型导入 Vertex AI，请按照以下步骤操作：

1. 在 Google Cloud 控制台中，进入 Vertex AI Model Registry 页面。

   进入 Model Registry

2. 点击导入，然后执行以下操作：

   • 对于名称，输入 BERT。
   • 对于区域，选择与您的 Cloud Storage 存储桶的区域匹配的区域。

3. 点击继续，然后执行以下操作：

   • 对于模型框架版本，选择 2.8。
   • 对于模型工件位置，输入您存储模型文件的 Cloud Storage 存储桶的路径。例如 gs://BUCKET_PATH/bert_model。

4. 点击导入。导入完成后，您的模型将显示在 Model Registry 页面上。

如需将 BERT 模型部署到 Vertex AI 端点并将其连接到 BigQuery，请按照以下步骤操作：

1. 在 Google Cloud 控制台中，进入 Vertex AI Model Registry 页面。

   进入 Model Registry

2. 点击您的模型的名称。

3. 点击部署和测试。

4. 点击部署到端点。

5. 对于端点名称，输入 bert_model_endpoint。

6. 点击继续。

7. 选择您的计算资源。

8. 点击部署。

9. 创建 BigQuery Cloud 资源连接并向该连接的服务账号授予访问权限。

如需根据 Vertex AI 端点创建远程模型，请使用 CREATE MODEL 语句：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   CREATE OR REPLACE MODEL tf_models_tutorial.bert_model
   INPUT(content STRING)
   OUTPUT(embedding ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.CONNECTION_LOCATION.CONNECTION_ID`
   OPTIONS (
     ENDPOINT = "https://ENDPOINT_LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/ENDPOINT_LOCATION/endpoints/ENDPOINT_ID");
   

   请替换以下内容：

   • PROJECT_ID：项目 ID
   • CONNECTION_LOCATION：BigQuery 连接的位置
   • CONNECTION_ID：BigQuery 连接的 ID

     当您在 Google Cloud 控制台中查看连接详情时，它是连接 ID 中显示的完全限定连接 ID 的最后一部分中的值，例如 projects/myproject/locations/connection_location/connections/myconnection

   • ENDPOINT_LOCATION：Vertex AI 端点的位置。例如：“us-central1”。
   • ENDPOINT_ID：模型端点的 ID

3. 点击 play_circle 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

NNLM

SELECT
  *
FROM
  ML.PREDICT(
    MODEL `tf_models_tutorial.nnlm_model`,
    (
    SELECT
      review AS content
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT
      500)
  );

结果类似于以下内容：

+-----------------------+----------------------------------------+
| embedding             | content                                |
+-----------------------+----------------------------------------+
|  0.08599445223808289  | Isabelle Huppert must be one of the... |
| -0.04862852394580841  |                                        |
| -0.017750458791851997 |                                        |
|  0.8658871650695801   |                                        |
| ...                   |                                        |
+-----------------------+----------------------------------------+

SWIVEL

SELECT
  *
FROM
  ML.PREDICT(
    MODEL `tf_models_tutorial.swivel_model`,
    (
    SELECT
      review AS content
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT
      500)
  );

结果类似于以下内容：

+----------------------+----------------------------------------+
| embedding            | content                                |
+----------------------+----------------------------------------+
|  2.5952553749084473  | Isabelle Huppert must be one of the... |
| -4.015787601470947   |                                        |
|  3.6275434494018555  |                                        |
| -6.045154333114624   |                                        |
| ...                  |                                        |
+----------------------+----------------------------------------+

BERT

SELECT
  *
FROM
  ML.PREDICT(
    MODEL `tf_models_tutorial.bert_model`,
    (
    SELECT
      review AS content
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT
      500)
  );

结果类似于以下内容：

+--------------+---------------------+----------------------------------------+
| embedding    | remote_model_status | content                                |
+--------------+---------------------+----------------------------------------+
| -0.694072425 | null                | Isabelle Huppert must be one of the... |
|  0.439208865 |                     |                                        |
|  0.99988997  |                     |                                        |
| -0.993487895 |                     |                                        |
| ...          |                     |                                        |
+--------------+---------------------+----------------------------------------+