Usar o Imagen na legenda visual da Vertex AI e na Resposta visual a perguntas (VQA, na sigla em inglês) para receber informações de imagem (Console)

Saiba como usar o Imagen nos recursos de legendagem visual e resposta a perguntas visuais (VQA, na sigla em inglês) da Vertex AI para receber informações de texto sobre uma imagem. Neste guia de início rápido, mostramos como usar legendas visuais e o VQA no Console do Google Cloud.

Exemplo de imagem de um peixe
Fonte da imagem: Worachat Sodsri no Unsplash (imagem cortada, exibida no Console do Google Cloud).

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  4. Ative a API Vertex AI.

    Ative a API

    5.

  5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  7. Ative a API Vertex AI.

    Ative a API

    8.

Acessar a imagem de amostra

Depois de configurar o ambiente, é possível receber uma imagem de amostra e usar legendas visuais e o recurso Resposta visual a perguntas para conseguir informações sobre a imagem.

Exemplo de imagem de um peixe
Fonte da imagem: Worachat Sodsri no Unsplash (imagem cortada).

Para conseguir a imagem de amostra, faça o download da imagem diretamente do Cloud Storage ou use o seguinte comando para salvá-la no diretório atual:

curl -O https://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg

Gerar descrições de imagens com legendas visuais

Depois de receber a imagem de amostra, você pode enviar a solicitação de legenda visual para conseguir uma descrição em texto da imagem.

Console

  1. No console do Google Cloud, abra a guia Vertex AI Studio > Visão no painel da Vertex AI.

    Acessar a guia "Vertex AI Studio"

  2. No menu inferior, clique em Legenda.

  3. Clique em Fazer upload da imagem e selecione a imagem local para legendar.

  4. No painel Parâmetros, defina o seguinte:

    1. Número de legendas: selecione 2.
    2. Idioma: se ainda não tiver selecionado, escolha English (en).

  5. Clique em Gerar legendas.

Gerar respostas para perguntas com o VQA

Por fim, você pode usar a mesma imagem para fazer uma pergunta sobre ela e receber uma resposta usando o recurso VQA.

Console

  1. No console do Google Cloud, abra a guia Vertex AI Studio > Visão no painel da Vertex AI.

    Acessar a guia "Vertex AI Studio"

  2. No menu inferior, clique em Perguntas e respostas visuais.

  3. Clique em Fazer upload da imagem e selecione a imagem local.

  4. No painel Parâmetros, selecione "2" como o Número de respostas.

  5. No campo (Faça uma pergunta aqui) digite o seguinte:

    What color is the left fish?

  6. Clique em Gerar.

Parabéns! Você acabou de usar os recursos de legendagem visual e VQA do Imagen para conseguir informações sobre uma imagem.

Limpeza

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir o projeto

  1. No Console do Google Cloud, acesse a página Gerenciar recursos.

    Acessar "Gerenciar recursos"

  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir