Übersicht

Große Sprachmodelle (LLMs, Large Language Models) eignen sich hervorragend für die Lösung vieler Probleme. Sie sind jedoch durch folgende Einschränkungen eingeschränkt:

  • Nach dem Training werden sie eingefroren, was zu veraltetem Wissen führt.
  • Sie können keine externen Daten abfragen oder ändern.

Erweiterungen und die Vertex AI (Vorschau) können diese Schwachstellen beheben. Erweiterungen sind Verbindungen zu externen APIs, die Echtzeitdaten verarbeiten und reale Aktionen ausführen. Der Vertex AI-Erweiterungsdienst registriert, verwaltet und führt diese Erweiterungen aus und kann mit einer Anwendung verknüpft werden, die Nutzerabfragen verarbeitet und mit einem LLM kommuniziert.

Immer wenn eine Anwendung eine Nutzerabfrage empfängt, stellt sie dem LLM eine Reihe von Erweiterungen und Vorgänge zur Verfügung, die die Erweiterungen ausführen können. Wenn das Modell feststellt, dass es die Abfrageverarbeitung an eine Erweiterung delegieren soll, stellt es der Anwendung einen angeforderten Erweiterungsaufruf und die zugehörigen Parameterwerte zur Verfügung. Die Anwendung leitet diese Anfrage an den Erweiterungsdienst weiter, der dann die Erweiterung ausführt. Der Vorgang ist abgeschlossen, wenn der Erweiterungsdienst das Ergebnis dieses Vorgangs an die Anwendung sendet, die es dann an das Modell weiterleitet.

Mit Vertex AI Search können Sie Erweiterungen erstellen, bereitstellen und verwalten, die LLMs mit den APIs externer Systeme verbinden. Diese Systeme können LLMs mit Echtzeitdaten bereitstellen und in ihrem Namen Datenverarbeitungsaktionen ausführen.

Weitere Informationen zu den Anwendungsfällen und Vorteilen von Erweiterungen und dem Vertex AI-Erweiterungsdienst finden Sie unter Anwendungsfälle und Vorteile.

Informationen zum Registrieren, Verwalten und Ausführen von Erweiterungen mit dem Vertex AI-Erweiterungsdienst finden Sie unter Erweiterungen registrieren, verwalten und ausführen.

Anwendungsfälle und Vorteile

Im Folgenden sind einige mögliche Anwendungsfälle für Erweiterungen aufgeführt:

  • Code generieren und ausführen.
  • Websites abfragen und Informationen synthetisieren
  • Sie können Fragen anhand von Informationen aus einer Sammlung unternehmensspezifischer Daten beantworten.
  • Datenspeicher abfragen und analysieren.

Der Vertex AI-Erweiterungsdienst bietet folgende Vorteile:

  • Unternehmenskontrollen: IAM-Berechtigungen (Identity and Access Management) und Sicherheitskontrollen.
  • Datensicherheit: Vertragliche Vereinbarungen, gemäß derer Ihre privaten Daten nicht während des Modelltrainings offengelegt oder verwendet werden
  • Leistungsvereinbarungen: Vertragliche Vereinbarungen, gemäß derer die Plattform bestimmte Features und Betriebszeiten bereitstellt.
  • Private Erweiterungen: Autorisierte Nutzer in Ihrer Organisation oder vertrauenswürdige Partner können Erweiterungen verwenden, um auf sensible interne Daten und Aktionen zuzugreifen, z. B. nach internen Wissensdatenbanken oder HR-Aktionen.
  • Google-Produktintegrationen: Einbindung in Google-Produkte wie Vertex AI Search, BigQuery und spezialisierte Modelle.

Nächste Schritte