LangChain in Vertex Generative AI

Mit LangChain auf Vertex Generative AI (Vorschau) können Sie die Open-Source-Bibliothek LangChain nutzen, um benutzerdefinierte Generative AI-Anwendungen zu erstellen und Vertex Generative AI für Modelle, Tools und Bereitstellung zu verwenden. Mit LangChain in Vertex Generative AI (Vorschau) können Sie Folgendes tun:

• Wählen Sie das Large Language Model (LLM) aus, mit dem Sie arbeiten möchten.
• Tools für den Zugriff auf externe APIs definieren.
• Strukturieren Sie die Schnittstelle zwischen dem Nutzer und den Systemkomponenten in einem Orchestrierungs-Framework.
• Stellen Sie das Framework in einer verwalteten Laufzeit bereit.

Systemkomponenten

Das Erstellen und Bereitstellen einer benutzerdefinierten generativen KI-Anwendung mit OSS LangChain und Vertex Generative AI besteht aus vier Komponenten:

Komponente	Beschreibung
LLM	Wenn Sie eine Abfrage an Ihre benutzerdefinierte Anwendung senden, verarbeitet das LLM die Abfrage und stellt eine Antwort bereit. Sie können eine Reihe von Tools definieren, die mit externen APIs kommunizieren, und diese dem Modell zur Verfügung stellen. Bei der Verarbeitung einer Abfrage delegiert das Modell bestimmte Aufgaben an die Tools. Dies impliziert einen oder mehrere Modellaufrufe für Grundlagenmodelle oder optimierte Modelle. Weitere Informationen finden Sie unter Modellversionen und Lebenszyklus.
Tool	Sie können eine Reihe von Tools definieren, die mit externen APIs (z. B. einer Datenbank) kommunizieren, und diese dem Modell bereitstellen. Während der Verarbeitung einer Abfrage kann das Modell bestimmte Aufgaben an die Tools delegieren. Die Bereitstellung über die verwaltete Laufzeit von Vertex Generative AI ist für die Verwendung von Tools basierend auf Gemini-Funktionsaufrufen optimiert, unterstützt jedoch LangChain-Tool/Funktionsaufrufe. Weitere Informationen zu Gemini-Funktionsaufrufen finden Sie unter Funktionsaufrufe.
Framework für die Orchestrierung	Mit LangChain in Vertex Generative AI können Sie das LangChain-Orchestrierungs-Framework in Vertex Generative AI nutzen. Verwenden Sie LangChain, um zu entscheiden, wie deterministisch Ihre Anwendung sein soll. Wenn Sie LangChain bereits verwenden, können Sie Ihren vorhandenen LangChain-Code verwenden, um Ihre Anwendung in Vertex Generative AI bereitzustellen. Andernfalls können Sie Ihren eigenen Anwendungscode erstellen und in einem Orchestrierungs-Framework strukturieren, das die LangChain-Vorlagen von Vertex Generative AI nutzt. Weitere Informationen finden Sie unter Anwendung entwickeln.
Verwaltete Laufzeit	Mit LangChain in Vertex Generative AI können Sie Ihre Anwendung in einer von Reasoning Engine verwalteten Laufzeit bereitstellen. Diese Laufzeit ist ein Vertex Generative AI-Dienst, der alle Vorteile der Vertex Generative AI-Einbindung bietet: Sicherheit, Datenschutz, Beobachtbarkeit und Skalierbarkeit. Sie können Ihre Anwendung mit einem einfachen API-Aufruf in die Produktion aufnehmen und skalieren und lokal getestete Prototypen schnell in für Unternehmen geeignete Bereitstellungen umwandeln. Weitere Informationen finden Sie unter Anwendung bereitstellen.

Es gibt viele verschiedene Möglichkeiten, Prototypen zu erstellen und benutzerdefinierte generative KI-Anwendungen zu erstellen, die Agent-Funktionen nutzen können, indem Sie Tools und benutzerdefinierte Funktionen zusätzlich zu Modellen wie Gemini nutzen. Wenn es an der Zeit ist, Ihre Anwendung in die Produktion zu verschieben, müssen Sie überlegen, wie Sie den Agent und die zugrunde liegenden Komponenten bereitstellen und verwalten.

Beiden Komponenten von LangChain in Vertex Generative AI besteht das Ziel darin, Ihnen dabei zu helfen, sich auf die Aspekte der Agent-Funktionalität zu konzentrieren, die Ihnen am wichtigsten sind, z. B. benutzerdefinierte Funktionen, das Agent-Verhalten und die Modellparameter. Google kümmert sich um die Bereitstellung, die Skalierung der Paketerstellung, die Versionen usw. Wenn Sie auf einer niedrigeren Ebene im Stack arbeiten, müssen Sie möglicherweise mehr verwalten, als Sie möchten. Wenn Sie auf einer höheren Ebene im Stack arbeiten, haben Sie möglicherweise nicht so viel Entwicklerkontrolle, wie Sie möchten.

Systemablauf zur Laufzeit

Wenn der Nutzer eine Abfrage stellt, formatiert der definierte Agent sie in einen Prompt für das LLM. Das LLM verarbeitet den Prompt und bestimmt, ob eines der Tools verwendet werden soll.

Wenn das LLM ein Tool verwendet, wird ein FunctionCall mit dem Namen und den Parametern generiert, mit denen das Tool aufgerufen werden soll. Der Agent ruft das Tool mit dem FunctionCall auf und stellt die Ergebnisse vom Tool zurück für das LLM bereit. Wenn das LLM keine Tools verwendet, generiert es Inhalte, die vom Agent an den Nutzer zurückgesendet werden.

Das folgende Diagramm veranschaulicht den Systemablauf zur Laufzeit:

 

Generative AI-Anwendung erstellen und bereitstellen

Der Workflow zum Erstellen von generativen KI-Anwendungen ist:

Schritte	Beschreibung
1. Umgebung einrichten	Richten Sie Ihr Google-Projekt ein und installieren Sie die neueste Version des Vertex AI SDK für Python.
2. Anwendung entwickeln	LangChain-Anwendung entwickeln, die in Reasoning Engine bereitgestellt werden kann
3. Anwendung bereitstellen	Stellen Sie die Anwendung in Reasoning Engine bereit.
4. Anwendung verwenden	Reasoning Engine für eine Antwort abfragen.
5. Bereitgestellte Anwendung verwalten	Verwalten und löschen Sie Anwendungen, die Sie in Reasoning Engine bereitgestellt haben.
6. Optional: Anwendungsvorlage anpassen	Vorlage für neue Anwendungen anpassen

Die Schritte werden im folgenden Diagramm dargestellt:

 

Vorteile

• Anpassbar: Mit den standardisierten Schnittstellen von LangChain kann LangChain in Vertex AI zum Erstellen verschiedener Arten von Anwendungen verwendet werden. Sie können die Logik Ihrer Anwendung anpassen und ein beliebiges Framework einbinden, was ein hohes Maß an Flexibilität bietet.
• Vereinfachte Bereitstellung: LangChain in Vertex AI verwendet dieselben APIs wie LangChain, um mit LLMs zu interagieren und Anwendungen zu erstellen. LangChain in Vertex AI vereinfacht und beschleunigt die Bereitstellung mit Vertex AI LLMs, da die Reasoning Engine-Laufzeit die Bereitstellung mit einem Klick unterstützt, um eine konforme API basierend auf Ihrer Bibliothek zu generieren.
• Einbindung in Vertex AI-Umgebungen: Reasoning Engine für LangChain in Vertex AI verwendet die Infrastruktur und die vordefinierten Container von Vertex AI, um Sie bei der Bereitstellung Ihrer LLM-Anwendung zu unterstützen. Sie können die Vertex AI API für die Einbindung in Gemini-Modelle, Funktionsaufrufe und Erweiterungen verwenden.
• Sicher, privat und skalierbar: Sie können einen einzigen SDK-Aufruf verwenden, anstatt den Entwicklungsprozess selbst zu verwalten. Die verwaltete Reasoning Engine-Laufzeit nimmt Ihnen Aufgaben wie die Anwendungsserverentwicklung, die Containererstellung und die Konfiguration der Authentifizierung, IAM und Skalierung ab. Vertex AI kümmert sich um Autoscaling, regionale Erweiterung und Container-Sicherheitslücken.

Anwendungsfälle

Sie können LangChain in Vertex Generative AI für die folgenden Aufgaben verwenden:

• Entitäten aus Geschichten in natürlicher Sprache extrahieren: Extrahiert Listen von Charakteren, Beziehungen, Dingen und Orten aus einer Geschichte.
  Vertex AI SDK für Python-Notebook – Extraktion strukturierter Daten mit Funktionsaufrufen
• SQL-Datenbanken mit natürlicher Sprache abfragen und verstehen: Bitten Sie das Modell, Fragen wie What percentage of orders are returned? in SQL-Abfragen zu konvertieren und Funktionen zu erstellen, die diese Abfragen an BigQuery senden.
  Blogpost: AI-gestützte Anwendung zur BigQuery-Datenexploration mit Funktionsaufrufen in Gemini erstellen
• Kunden bei der Interaktion mit Unternehmen unterstützen: Erstellen Sie Funktionen, die eine Verbindung zur API eines Unternehmens herstellen, was dem Modell ermöglicht, genaue Antworten auf Abfragen wie Do you have the Pixel 8 Pro in stock? oder Is there a store in Mountain View, CA that I can visit to try it out? zu liefern.
  Vertex AI SDK für Python-Notebook – Funktionsaufrufe mit der Vertex Generative AI Gemini API und Python SDK
• Erstellen Sie generative KI-Anwendungen, indem Sie eine Verbindung zu öffentlichen APIs herstellen, z. B.:
  • Währungen umrechnen: Erstellen Sie eine Funktion, die eine Verbindung zu einer Währungsumtausch-App herstellt, sodass das Modell genaue Antworten auf Abfragen wie What's the exchange rate for euros to dollars today? geben kann
    Codelab – Interaktion mit APIs durch Funktionsaufrufe in Gemini
  • Wetter für einen bestimmten Ort abfragen: Erstellen Sie eine Funktion, die eine Verbindung zu einer API eines meteorologischen Dienstes herstellt, sodass das Modell genaue Antworten auf Abfragen wie What's the weather like in Paris? liefern kann
    Vertex AI SDK für Python-Notebook – Funktionsaufrufe mit der Vertex Generative AI Gemini API und Python SDK
    Blogpost – Funktionsaufruf: Ein natives Framework zum Verbinden von Gemini mit externem Systeme, Daten und APIs
  • Adresse in Breiten- und Längengradkoordinaten umwandeln: Erstellen Sie eine Funktion, mit der strukturierte Standortdaten in Breiten- und Längengradkoordinaten umgewandelt werden. Das Modell bitten, Adresse, Stadt, Bundesland und Postleitzahl in Abfragen wie I want to get the lat/lon coordinates for the following address: 1600 Amphitheatre Pkwy, Mountain View, CA 94043, US. zu identifizieren
    Vertex AI SDK für Python-Notebook – Funktionsaufruf mit der Vertex Generative AI Gemini API und Python SDK
• Sprachbefehle interpretieren: Erstellen Sie Funktionen für Aufgaben im Fahrzeug. Sie können beispielsweise Funktionen erstellen, mit denen das Radio oder die Klimaanlage aktiviert wird. Senden Sie Audiodateien der Sprachbefehle des Nutzers an das Modell und bitten Sie das Modell, die Audiodaten in Text umzuwandeln und die Funktion zu identifizieren, die der Nutzer aufrufen möchte.
• Workflows basierend auf Umgebungstriggern automatisieren: Erstellen Sie Funktionen zur Darstellung von Prozessen, die automatisiert werden können. Stellen Sie dem Modell Daten von Umgebungssensoren bereit und bitten Sie es, die Daten zu parsen und zu verarbeiten, um zu bestimmen, ob einer oder mehrere der Workflows aktiviert werden sollen. Ein Modell könnte zum Beispiel Temperaturdaten in einem Lager verarbeiten und eine Sprinklerfunktion aktivieren.
• Zuweisung von Support-Tickets automatisieren: Stellen Sie dem Modell Support-Tickets, Logs und kontextsensitive Regeln bereit. Bitten Sie das Modell, alle diese Informationen zu verarbeiten, um festzustellen, wem das Ticket zugewiesen werden soll. Rufen Sie eine Funktion auf, um das Ticket der vom Modell vorgeschlagenen Person zuzuweisen.
• Informationen aus einer Wissensdatenbank abrufen: Erstellen Sie Funktionen, die wissenschaftliche Artikel zu einem bestimmten Thema abrufen und zusammenfassen. Befähigen Sie das Modell, Fragen zu akademischen Themen zu beantworten und die Antworten mit Zitaten zu versehen.

Nächste Schritte

• Umgebung einrichten
• Mehr über Funktionsaufrufe erfahren.