Databricks에서 LLM 쿼리 시작

이 문서에서는 Foundation Model API를 사용하여 Databricks에서 LLM을 제공하고 쿼리하는 방법을 설명합니다.

Databricks에서 LLM 모델 제공 및 쿼리를 시작하는 가장 쉬운 방법은 토큰당 종량제로 파운데이션 모델 API를 사용하는 것입니다. API는 Databricks 작업 영역의 서비스 UI에서 자동으로 사용할 수 있는 토큰당 종량제 엔드포인트에서 인기 있는 기본 모델에 대한 액세스를 제공합니다. 토큰당 지불에 대해 지원되는 모델을 참조하세요.

AI 플레이그라운드를 사용하여 토큰당 종량제 모델을 테스트하고 채팅할 수도 있습니다. AI Playground를 사용하여 지원되는 LLM과의 채팅을 참조 하세요.

프로덕션 워크로드의 경우, 특히 성능 보장이 필요한 미세 조정된 모델 또는 워크로드가 있는 경우 Databricks는 프로비전된 처리량 엔드포인트에서 Foundation Model API를 사용하도록 업그레이드하는 것이 좋습니다.

요구 사항

• Foundation Model API에 대해 지원되는 지역의 Databricks 작업 영역은 토큰당 종량제입니다.
• OpenAI 클라이언트를 사용하여 엔드포인트를 제공하는 Databricks 모델을 쿼리하고 액세스하는 Databricks 개인용 액세스 토큰입니다.

Foundation Model API 사용 시작

다음 예제에서는 토큰당 종량제 엔드포인트databricks-dbrx-instruct에서 제공되는 모델을 쿼리 databricks-dbrx-instruct 합니다. DBRX 지시 모델에 대해 자세히 알아봅니다.

이 예제에서는 OpenAI 클라이언트를 사용하여 쿼리하려는 모델을 호스트하는 model 엔드포인트를 제공하는 모델의 이름으로 필드를 채워 모델을 쿼리합니다. 개인 액세스 토큰을 사용하여 Databricks 작업 영역 인스턴스를 채우고 DATABRICKS_TOKEN OpenAI 클라이언트를 Databricks에 연결합니다.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url='https://<workspace_id>.databricks.com/serving-endpoints', # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="databricks-dbrx-instruct",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

예상 출력:

{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "databricks-dbrx-instruct",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

다음 단계

• AI 플레이그라운드를 사용하여 친숙한 채팅 인터페이스에서 다양한 모델을 사용해 보세요.
• 기본 모델을 쿼리합니다.
• 외부 모델을 사용하여 Databricks 외부에서 호스트되는 모델에 액세스합니다.
• 프로비전된 처리량 엔드포인트를 사용하여 미세 조정된 모델을 배포하는 방법을 알아봅니다.
• 모델 품질 및 엔드포인트 상태를 모니터링하는 방법을 탐색합니다.