評価は、ブロック呼び出しと非ブロック呼び出しの両方に対応しています。本番環境のニーズに基づいてコールバック タイプを選択します。
| コールバック タイプ | 選択したサービス | 注 |
|---|---|---|
| Synchronous API（ブロック） | オンライン評価サービス | 起動のオーバーヘッドはありません。SDK を使用して呼び出すことができます。呼び出し元プロセスでブロッキング呼び出しを行います。 |
| Asynchronous API（非ブロッキング） | パイプライン評価サービス | 起動のオーバーヘッドは約 5 分です。SDK または UI を使用して呼び出すことができます。プロジェクトで Vertex AI マネージド パイプラインが開始されます。 |
Rapid Eval SDK
Rapid Eval SDK の詳細については、Vertex AI SDK の評価の概要をご覧ください。
Rapid Eval API
Rapid Eval API の詳細については、Rapid Eval API をご覧ください。
サービス アカウント
サービス アカウントは、モデルベースの評価指標のオンライン予測サービスから予測を取得するためにオンライン評価サービスによって使用されます。このサービス アカウントは、オンライン評価サービスへの最初のリクエストでプロビジョニングされます。
| 名前 | 説明 | メールアドレス | ロール |
|---|---|---|---|
| Vertex AI Rapid Eval サービス エージェント | モデルベースの評価で予測を行うために使用されるサービス アカウント。 | service-PROJECT_NUMBER@gcp-sa-ENV-vertex-eval.iam.gserviceaccount.com |
roles/aiplatform.rapidevalServiceAgent |
Rapid Eval のサービス エージェントに関連付けられている権限は次のとおりです。
| ロール | 権限 |
|---|---|
| Vertex AI Rapid Eval サービス エージェント（roles/aiplatform.rapidevalServiceAgent） | aiplatform.endpoints.predict |
次のステップ
- オンライン評価サービスをすばやく実行する方法を学習する。オンライン評価のクイックスタートを試す。
- パフォーマンス評価について学習する。
- 計算ベースの評価について学習する。
- ペアワイズ モデル ベースの評価について学習する。
- 基盤モデルのチューニング方法を学習する。