使用 Imagen on Vertex 的视觉标注和 Visual Question Answering (VQA) 获取图片信息(控制台)

了解如何使用 Imagen on Vertex 的视觉标注和 Visual Question Answering (VQA) 功能获取有关图片的文本信息。本快速入门介绍如何在 Google Cloud 控制台中使用视觉标注和 VQA。

鱼的示例图片
图片来源Unsplash 上的 Worachat Sodsri图片经过裁剪,显示在 Google Cloud 控制台中)。

须知事项

  1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手,请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金,用于运行、测试和部署工作负载。
  2. 在 Google Cloud Console 中的项目选择器页面上,选择或创建一个 Google Cloud 项目

    转到“项目选择器”

  3. 确保您的 Google Cloud 项目已启用结算功能

  4. 启用 Vertex AI API。

    启用 API

  5. 在 Google Cloud Console 中的项目选择器页面上,选择或创建一个 Google Cloud 项目

    转到“项目选择器”

  6. 确保您的 Google Cloud 项目已启用结算功能

  7. 启用 Vertex AI API。

    启用 API

获取示例图片

设置环境后,您可以获取示例图片,并可以使用视觉标注和 Visual Question Answering 来获取有关图片的信息。

鱼的示例图片
图片来源Unsplash 上的Worachat Sodsri图片经过裁剪)。

如需获取示例图片,请直接从 Cloud Storage 下载该图片,或使用以下命令将图片保存到当前目录:

curl -O https://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg

使用视觉标注功能生成图片说明

获取示例图片后,您可以发送视觉标注请求,以获取图片的文本说明。

控制台

  1. 在 Google Cloud 控制台中,前往 Vertex AI 信息中心内的 Vertex AI Studio > Vision 标签页。

    前往 Vertex AI Studio 标签页

  2. 在下部菜单中,点击 图片说明

  3. 点击上传图片,然后选择要添加图片说明的本地图片。

  4. 参数面板中,设置以下内容:

    1. 图片说明数量:选择 2
    2. 语言:如果尚未选择,请选择 English (en)
  5. 点击 生成图片说明

使用 VQA 生成问题的回答

最后,您可以使用同一图片来提出有关图片的问题,并使用 VQA 功能获得回答。

控制台

  1. 在 Google Cloud 控制台中,前往 Vertex AI 信息中心内的 Vertex AI Studio > Vision 标签页。

    前往 Vertex AI Studio 标签页

  2. 在下方的菜单中,点击 Visual Q&A

  3. 点击上传图片,然后选择本地图片。

  4. 参数面板中,为回答的数量选择 2。

  5. 在提示(在此处提问)字段中,输入以下文本:

    What color is the left fish?
    
  6. 点击 生成

恭喜!您刚刚使用了 Imagen 的视觉标注和 VQA 功能来获取有关图片的信息。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用,请按照以下步骤操作。

删除项目

  1. 在 Google Cloud 控制台中,进入管理资源页面。

    转到“管理资源”

  2. 在项目列表中,选择要删除的项目,然后点击删除
  3. 在对话框中输入项目 ID,然后点击关闭以删除项目。

后续步骤