Gerar texto usando um modelo remoto e a função ML.GENERATE_TEXT

Console

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. Para criar uma conexão, clique em add Adicionar e em Conexões com fontes de dados externas.

3. Na lista Tipo de conexão, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (Cloud Resource).

4. No campo ID da conexão, insira um nome para a conexão.

5. Clique em Criar conexão.

6. Clique em Ir para conexão.

7. No painel Informações da conexão, copie o ID da conta de serviço para uso em uma etapa posterior.

bq

1. Em um ambiente de linha de comando, crie uma conexão:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   O parâmetro --project_id substitui o projeto padrão.

   Substitua:

   • REGION: sua região de conexão
   • PROJECT_ID: o ID do projeto do Google Cloud
   • CONNECTION_ID: um ID para sua conexão

   Quando você cria um recurso de conexão, o BigQuery cria uma conta de serviço do sistema exclusiva e a associa à conexão.

   Solução de problemas: se você receber o seguinte erro de conexão, atualize o SDK Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupere e copie o ID da conta de serviço para uso em uma etapa posterior:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   O resultado será assim:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
   

Terraform

Anexe a seguinte seção ao seu arquivo main.tf.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

• CONNECTION_ID: um ID para sua conexão
• PROJECT_ID: o ID do projeto do Google Cloud
• REGION: sua região de conexão

SQL

1. No Console do Google Cloud, acesse a página BigQuery.

Acessar o BigQuery

1. No editor de consultas, execute a seguinte instrução:

   CREATE OR REPLACE MODEL `bqml_tutorial.llm_model`
   REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS (ENDPOINT = 'text-bison');
   

   Substitua:

   • LOCATION: o local da conexão
   • CONNECTION_ID: o ID da sua conexão do BigQuery

     Quando você visualiza os detalhes da conexão no console do Google Cloud, esse é o valor na última seção do ID da conexão totalmente qualificado, mostrado em ID da conexão, por exemplo projects/myproject/locations/connection_location/connections/myconnection

   A consulta leva alguns segundos para ser concluída. Depois disso, o modelo llm_model aparece no conjunto de dados bqml_tutorial no painel Explorer. Como a consulta usa uma instrução CREATE MODEL para criar um modelo, não há resultados de consulta.

BigQuery DataFrames

Antes de testar esta amostra, siga as instruções de configuração dos BigQuery DataFrames no Guia de início rápido do BigQuery: como usar os BigQuery DataFrames. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para autenticar no BigQuery, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import bigframes
from bigframes.ml.llm import PaLM2TextGenerator

bigframes.options.bigquery.project = PROJECT_ID
bigframes.options.bigquery.location = LOCATION

model = PaLM2TextGenerator()

SQL

1. No Console do Google Cloud, acesse a página BigQuery.

Acessar o BigQuery

1. No editor de consultas, insira a seguinte instrução para realizar a extração de palavra-chave em cinco avaliações de filmes:

   SELECT
   ml_generate_text_result['predictions'][0]['content'] AS generated_text,
   ml_generate_text_result['predictions'][0]['safetyAttributes']
     AS safety_attributes,
   * EXCEPT (ml_generate_text_result)
   FROM
   ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.llm_model`,
     (
       SELECT
         CONCAT('Extract the key words from the text below: ', review) AS prompt,
         *
       FROM
         `bigquery-public-data.imdb.reviews`
       LIMIT 5
     ),
     STRUCT(
       0.2 AS temperature,
       100 AS max_output_tokens));
   

   O resultado será assim:

   

   Os resultados incluem as seguintes colunas:

   • generated_text: o texto gerado.
   • safety_attributes: os atributos de segurança, com informações sobre eventual bloqueio do conteúdo devido a uma das categorias de bloqueio. Para mais informações sobre os atributos de segurança, consulte a API Vertex PaLM.
   • ml_generate_text_status: o status da resposta da API sobre a linha correspondente. Se a operação tiver sido bem-sucedida, esse valor estará vazio.
   • prompt: o comando usado para a análise de sentimento.
   • Todas as colunas da tabela bigquery-public-data.imdb.reviews.

2. Opcional: em vez de analisar manualmente o JSON retornado pela função, como você fez na etapa anterior, use o argumento flatten_json_output para retornar o texto gerado e os atributos de segurança em colunas separadas.

   No editor de consultas, execute a seguinte instrução:

   SELECT
   *
   FROM
   ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.llm_model`,
     (
       SELECT
         CONCAT('Extract the key words from the text below: ', review) AS prompt,
         *
       FROM
         `bigquery-public-data.imdb.reviews`
       LIMIT 5
     ),
     STRUCT(
       0.2 AS temperature,
       100 AS max_output_tokens,
       TRUE AS flatten_json_output));
   

   O resultado será assim:

   

   Os resultados incluem as seguintes colunas:

   • ml_generate_text_llm_result: o texto gerado.
   • ml_generate_text_rai_result: os atributos de segurança, com informações sobre eventual bloqueio do conteúdo devido a uma das categorias de bloqueio. Para mais informações sobre os atributos de segurança, consulte a API Vertex PaLM.
   • ml_generate_text_status: o status da resposta da API sobre a linha correspondente. Se a operação tiver sido bem-sucedida, esse valor estará vazio.
   • prompt: o prompt usado para a extração da palavra-chave.
   • Todas as colunas da tabela bigquery-public-data.imdb.reviews.

BigQuery DataFrames

Antes de testar esta amostra, siga as instruções de configuração dos BigQuery DataFrames no Guia de início rápido do BigQuery: como usar os BigQuery DataFrames. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para autenticar no BigQuery, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

Use a função predict para executar o modelo remoto:

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=5)
df_prompt_prefix = "Extract the key words from the text below: "
df_prompt = df_prompt_prefix + df["review"]

# Predict using the model
df_pred = model.predict(df_prompt, temperature=0.2, max_output_tokens=100)
df_pred.peek(5)

O resultado será semelhante ao seguinte:

SQL

1. No Console do Google Cloud, acesse a página BigQuery.

Acessar o BigQuery

1. No editor de consultas, execute a seguinte instrução para realizar a análise de sentimento em cinco avaliações de filmes:

   SELECT
   ml_generate_text_result['predictions'][0]['content'] AS generated_text,
   ml_generate_text_result['predictions'][0]['safetyAttributes']
     AS safety_attributes,
   * EXCEPT (ml_generate_text_result)
   FROM
   ML.GENERATE_TEXT(
     MODEL `bqml_tutorial.llm_model`,
     (
       SELECT
         CONCAT(
           'perform sentiment analysis on the following text, return one the following categories: positive, negative: ',
           review) AS prompt,
         *
       FROM
         `bigquery-public-data.imdb.reviews`
       LIMIT 5
     ),
     STRUCT(
       0.2 AS temperature,
       100 AS max_output_tokens));
   

   O resultado será assim:

   

   Os resultados incluem as mesmas colunas documentadas para Realizar a extração de palavra-chave.

BigQuery DataFrames

Antes de testar esta amostra, siga as instruções de configuração dos BigQuery DataFrames no Guia de início rápido do BigQuery: como usar os BigQuery DataFrames. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para autenticar no BigQuery, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

Use a função predict para executar o modelo remoto:

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=5)
df_prompt_prefix = "perform sentiment analysis on the following text, return one the following categories: positive, negative: "
df_prompt = df_prompt_prefix + df["review"]

# Predict using the model
df_pred = model.predict(df_prompt, temperature=0.2, max_output_tokens=100)
df_pred.peek(5)

O resultado será semelhante ao seguinte:

Limpar