Imagen für die visuelle Untertitelung und das VQA (Visual Question Answering) von Vertex AI verwenden, um Bildinformationen abzurufen (Console)

Erfahren Sie, wie Sie mit Imagen in den Vertex AI-Features für die visuelle Untertitelung und dem VQA (Visual Question Answering) von Vertex AI Textinformationen zu einem Bild abrufen. In dieser Kurzanleitung erfahren Sie, wie Sie in der Google Cloud Console die visuelle Untertitelung und VQA verwenden.

Beispielbild: Fische
Bildquelle: Worachat Sodsri auf Unsplash (Bild zugeschnitten, in der Google Cloud Console angezeigt).

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. Vertex AI API aktivieren.

    Aktivieren Sie die API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  7. Vertex AI API aktivieren.

    Aktivieren Sie die API

    8.

Beispielbild abrufen

Nachdem Sie Ihre Umgebung eingerichtet haben, können Sie ein Beispielbild abrufen und die visuelle Untertitelung und das Visual Question Answering verwenden, um Informationen zum Bild zu erhalten.

Beispielbild: Fische
Bildquelle: Worachat Sodsri auf Unsplash (Bild zugeschnitten).

Um das Beispiel-Image abzurufen, laden Sie das Image entweder direkt aus Cloud Storage herunter oder speichern es mit dem folgenden Befehl im aktuellen Verzeichnis:

curl -O https://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg

Bildbeschreibungen mit der visuellen Untertitelung erstellen

Nachdem Sie das Beispielbild abgerufen haben, können Sie eine Anfrage zur visuellen Untertitelung senden, um eine Textbeschreibung des Bildes zu erhalten.

Console

  1. Öffnen Sie in der Google Cloud Console den Tab Vertex AI Studio > Vision im Vertex AI-Dashboard.

    Zum Tab Vertex AI Studio

  2. Klicken Sie im unteren Menü auf Untertitel.

  3. Klicken Sie auf Bild hochladen und wählen Sie das lokale Bild zur Untertitelung aus.

  4. Legen Sie im Bereich Parameters Folgendes fest:

    1. Anzahl der Untertitel: Wählen Sie 2 aus.
    2. Sprache: Wählen Sie English (en) aus, falls nicht bereits ausgewählt.

  5. Klicken Sie auf Untertitel generieren.

Antworten auf Fragen mit VQA generieren

Weiter können Sie dasselbe Bild verwenden, um eine Frage zum Bild zu stellen und eine Antwort mit der VQA-Funktion zu erhalten.

Console

  1. Öffnen Sie in der Google Cloud Console den Tab Vertex AI Studio > Vision im Vertex AI-Dashboard.

    Zum Tab Vertex AI Studio

  2. Klicken Sie im unteren Menü auf Visuelles Q & A.

  3. Klicken Sie auf Bild hochladen und wählen Sie das lokale Bild aus.

  4. Wählen Sie im Bereich Parameters als Anzahl an Antworten den Wert 2 aus.

  5. Geben Sie in das Prompt-Feld (Frage stellen) folgenden Text ein:

    What color is the left fish?

  6. Klicken Sie auf Erstellen.

Glückwunsch! Sie haben gerade die visuelle Untertitelung und die VQA-Features von Imagen verwendet, um Informationen zu einem Bild abzurufen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Projekt löschen

  1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

    Zur Seite „Ressourcen verwalten“

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Nächste Schritte