Esegui AutoSxS per eseguire la valutazione basata su modelli a coppie

Riassunto

L'attività summarization ha un limite di token di 4096 input.

Di seguito è riportato l'elenco dei criteri di valutazione per summarization:

Risposta alla domanda

L'attività question_answering ha un limite di token di 4096 input.

Di seguito è riportato l'elenco dei criteri di valutazione per question_answering:

REST

Per creare un job di valutazione del modello, invia una richiesta POST utilizzando il metodo pipelineJobs.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

• PIPELINEJOB_DISPLAYNAME : nome visualizzato per pipelineJob.
• PROJECT_ID : progetto Google Cloud che esegue i componenti della pipeline.
• LOCATION : regione per l'esecuzione dei componenti della pipeline. L'app us-central1 è supportata.
• OUTPUT_DIR : URI Cloud Storage per archiviare l'output di valutazione.
• EVALUATION_DATASET : tabella BigQuery o un elenco separato da virgole di percorsi Cloud Storage a un set di dati JSONL contenente esempi di valutazione.
• TASK: attività di valutazione, che può essere una delle seguenti: [summarization, question_answering].
• ID_COLUMNS : colonne che distinguono esempi di valutazione univoci.
• AUTORATER_PROMPT_PARAMETERS : parametri dei prompt di valutazione automatica mappati a colonne o modelli. I parametri previsti sono: inference_instruction (dettagli su come eseguire un'attività) e inference_context (contenuti a cui fare riferimento per eseguire l'attività). Ad esempio, {'inference_context': {'column': 'my_prompt'}} usa la colonna "my_prompt" del set di dati di valutazione per il contesto dell'autore della valutazione.
• RESPONSE_COLUMN_A : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del modello A contenente le previsioni. Se non viene fornito alcun valore, verrà dedotto il nome della colonna di output del modello corretto.
• RESPONSE_COLUMN_B : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del Modello B che contiene le previsioni. Se non viene fornito alcun valore, verrà dedotto il nome della colonna di output del modello corretto.
• MODEL_A (facoltativo): un nome completo della risorsa del modello (projects/{project}/locations/{location}/models/{model}@{version}) o un nome della risorsa del modello del publisher (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del Modello A, questo parametro non deve essere fornito.
• MODEL_B (facoltativo): un nome completo della risorsa del modello (projects/{project}/locations/{location}/models/{model}@{version}) o un nome della risorsa del modello del publisher (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del Modello B, questo parametro non deve essere fornito.
• MODEL_A_PROMPT_PARAMETERS (Facoltativo): i parametri del modello di prompt del modello A sono stati mappati a colonne o modelli. Se le risposte del modello A sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} usa la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.
• MODEL_B_PROMPT_PARAMETERS (facoltativo): i parametri del modello di prompt del modello B mappati a colonne o modelli. Se le risposte del Modello B sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} usa la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.

Corpo JSON richiesta

  {
    "displayName": "PIPELINEJOB_DISPLAYNAME",
    "runtimeConfig": {
        "gcsOutputDirectory": "gs://OUTPUT_DIR",
        "parameterValues": {
            "evaluation_dataset": "EVALUATION_DATASET",
            "id_columns": ["ID_COLUMNS"],
            "task": "TASK",
            "autorater_prompt_parameters": AUTORATER_PROMPT_PARAMETERS,
            "response_column_a": "RESPONSE_COLUMN_A",
            "response_column_b": "RESPONSE_COLUMN_B",
            "model_a": "MODEL_A",
            "model_a_prompt_parameters": MODEL_A_PROMPT_PARAMETERS,
            "model_b": "MODEL_B",
            "model_b_prompt_parameters": MODEL_B_PROMPT_PARAMETERS,
        },
    },
    "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default"
  }

Utilizza curl per inviare la richiesta.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

Risposta

  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "1234567890123456789"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://my-evaluation-bucket/output",
    "parameterValues": {
      "evaluation_dataset": "gs://my-evaluation-bucket/output/data.json",
      "id_columns": [
        "context"
      ],
      "task": "question_answering",
      "autorater_prompt_parameters": {
        "inference_instruction": {
          "template": "Answer the following question: {{ question }} }."
        },
        "inference_context": {
          "column": "context"
        }
      },
      "response_column_a": "",
      "response_column_b": "response_b",
      "model_a": "publishers/google/models/text-bison@001",
      "model_a_prompt_parameters": {
        "prompt": {
          "template": "Answer the following question from the point of view of a college professor: {{ question }}\n{{ context }} }"
        }
      },
      "model_b": "",
      "model_b_prompt_parameters": {}
    }
  },
  "serviceAccount": "[email protected]",
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default",
  "templateMetadata": {
    "version": "sha256:7366b784205551ed28f2c076e841c0dbeec4111b6df16743fc5605daa2da8f8a"
  }
}

SDK Vertex AI per Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni sull'API Python, consulta la pagina relativa all'SDK Vertex AI per l'API Python.

Per ulteriori informazioni sui parametri della pipeline, consulta la documentazione di riferimento dei componenti di pipeline di Google Cloud.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

• PIPELINEJOB_DISPLAYNAME : nome visualizzato per pipelineJob.
• PROJECT_ID : progetto Google Cloud che esegue i componenti della pipeline.
• LOCATION : regione per l'esecuzione dei componenti della pipeline. L'app us-central1 è supportata.
• OUTPUT_DIR : URI Cloud Storage per archiviare l'output di valutazione.
• EVALUATION_DATASET : tabella BigQuery o un elenco separato da virgole di percorsi Cloud Storage a un set di dati JSONL contenente esempi di valutazione.
• TASK: attività di valutazione, che può essere una delle seguenti: [summarization, question_answering].
• ID_COLUMNS : colonne che distinguono esempi di valutazione univoci.
• AUTORATER_PROMPT_PARAMETERS : parametri dei prompt di valutazione automatica mappati a colonne o modelli. I parametri previsti sono: inference_instruction (dettagli su come eseguire un'attività) e inference_context (contenuti a cui fare riferimento per eseguire l'attività). Ad esempio, {'inference_context': {'column': 'my_prompt'}} usa la colonna "my_prompt" del set di dati di valutazione per il contesto dell'autore della valutazione.
• RESPONSE_COLUMN_A : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del modello A contenente le previsioni. Se non viene fornito alcun valore, verrà dedotto il nome della colonna di output del modello corretto.
• RESPONSE_COLUMN_B : il nome di una colonna nel set di dati di valutazione contenente previsioni predefinite o il nome della colonna nell'output del Modello B che contiene le previsioni. Se non viene fornito alcun valore, verrà dedotto il nome della colonna di output del modello corretto.
• MODEL_A (facoltativo): un nome completo della risorsa del modello (projects/{project}/locations/{location}/models/{model}@{version}) o un nome della risorsa del modello del publisher (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del Modello A, questo parametro non deve essere fornito.
• MODEL_B (facoltativo): un nome completo della risorsa del modello (projects/{project}/locations/{location}/models/{model}@{version}) o un nome della risorsa del modello del publisher (publishers/{publisher}/models/{model}). Se vengono specificate le risposte del Modello B, questo parametro non deve essere fornito.
• MODEL_A_PROMPT_PARAMETERS (Facoltativo): i parametri del modello di prompt del modello A sono stati mappati a colonne o modelli. Se le risposte del modello A sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} usa la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.
• MODEL_B_PROMPT_PARAMETERS (facoltativo): i parametri del modello di prompt del modello B mappati a colonne o modelli. Se le risposte del Modello B sono predefinite, questo parametro non deve essere fornito. Esempio: {'prompt': {'column': 'my_prompt'}} usa la colonna my_prompt del set di dati di valutazione per il parametro del prompt denominato prompt.

import os
from google.cloud import aiplatform
parameters = {
    'evaluation_dataset': 'EVALUATION_DATASET',
    'id_columns': ['ID_COLUMNS'],
    'task': 'TASK',
    'autorater_prompt_parameters': AUTORATER_PROMPT_PARAMETERS,
    'response_column_a': 'RESPONSE_COLUMN_A',
    'response_column_b': 'RESPONSE_COLUMN_B',
    'model_a': 'MODEL_A',
    'model_a_prompt_parameters': MODEL_A_PROMPT_PARAMETERS,
    'model_b': 'MODEL_B',
    'model_b_prompt_parameters': MODEL_B_PROMPT_PARAMETERS,
}
aiplatform.init(project='PROJECT_ID', location='LOCATION', staging_bucket='gs://OUTPUT_DIR')
aiplatform.PipelineJob(
    display_name='PIPELINEJOB_DISPLAYNAME',
    pipeline_root=os.path.join('gs://OUTPUT_DIR', 'PIPELINEJOB_DISPLAYNAME'),
    template_path=(
      'https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default'),
    parameter_values=parameters,
).run()

Console

Per creare un job di valutazione del modello Pair utilizzando la console Google Cloud, esegui questi passaggi:

1. Inizia con un modello di base Google o utilizza un modello già esistente nel tuo Vertex AI Model Registry:

   • Per valutare un modello di base di Google:

     1. Vai a Model Garden di Vertex AI e seleziona un modello che supporti la valutazione accoppiata, come text-bison.

        Vai a Model Garden

     2. Fai clic su Valuta.

     3. Nella finestra popup visualizzata, fai clic su Seleziona per selezionare una versione del modello.

     4. Un riquadro Salva modello potrebbe chiederti di salvare una copia del modello in Vertex AI Model Registry se non ne hai già una copia. Inserisci un Nome modello e fai clic su Salva.

     5. Viene visualizzata la pagina Crea valutazione. Per il passaggio Valuta il metodo, seleziona Valuta questo modello sulla base di un altro modello.

     6. Fai clic su Continua.

   • Per valutare un modello esistente in Vertex AI Model Registry:

     1. Vai alla pagina Vertex AI Model Registry:

        Vai a Vertex AI Model Registry

     2. Fai clic sul nome del modello da valutare. Assicurati che il tipo di modello abbia il supporto per la valutazione a coppie. Ad esempio, text-bison.

     3. Nella scheda Valuta, fai clic su SxS.

     4. Fai clic su Crea valutazione SxS.

2. Per ogni passaggio nella pagina di creazione della valutazione, inserisci le informazioni richieste e fai clic su Continua:

   1. Per il passaggio Set di dati di valutazione, seleziona un obiettivo di valutazione e un modello da confrontare con il modello selezionato. Seleziona un set di dati di valutazione e inserisci le colonne ID (colonne della risposta).

   2. Per il passaggio Impostazioni del modello, specifica se vuoi utilizzare le risposte del modello già presenti nel tuo set di dati o se vuoi utilizzare la previsione batch di Vertex AI per generare le risposte. Specifica le colonne della risposta per entrambi i modelli. Per l'opzione di previsione batch di Vertex AI, puoi specificare i parametri del prompt del modello di inferenza.

   3. Per il passaggio Impostazioni di Autorater, inserisci i parametri della richiesta di Autorater e una posizione di output per le valutazioni.

3. Fai clic su Start Evaluation (Avvia valutazione).

Confronta modelli

Valuta un modello proprietario ottimizzato (1p) rispetto a un modello 1p di riferimento.

Puoi specificare che l'inferenza viene eseguita su entrambi i modelli contemporaneamente.

Questo esempio di codice valuta un modello ottimizzato di Vertex Model Registry in base a un modello di riferimento dello stesso registro.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
    'model_a': 'publishers/google/models/text-bison@001',
    'model_a_prompt_parameters': {QUESTION: {'template': '{{my_question}}\nCONTEXT: {{my_context}}'}},
  'response_column_a': 'content',
    'model_b': 'projects/abc/locations/abc/models/tuned_bison',
    'model_b_prompt_parameters': {'prompt': {'template': '{{my_context}}\n{{my_question}}'}},
  'response_column_b': 'content',
}

Confrontare le previsioni

Valuta un modello di terze parti ottimizzato (3p) rispetto a un modello di terze parti di riferimento.

Puoi saltare l'inferenza fornendo direttamente le risposte del modello.

Questo esempio di codice valuta un modello di terze parti ottimizzato a fronte di un modello di terze parti di riferimento.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
#   response_b: str

parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters':
        'inference_instruction': {'column': 'my_question'},
        'inference_context': {'column': 'my_context'},
    },
    'response_column_a': 'content',
    'response_column_b': 'response_b',
}

Controlla l'allineamento

Tutte le attività supportate sono state confrontate utilizzando i dati dei classificatori umani per garantire che le risposte dei classificatori automatici siano in linea con le preferenze umane. Se vuoi confrontare AutoSxS per i tuoi casi d'uso, fornisci dati con preferenze umane direttamente ad AutoSxS, che genera statistiche aggregate sull'allineamento.

Per verificare l'allineamento rispetto a un set di dati con preferenze umane, puoi specificare entrambi gli output (risultati delle previsioni) al responsabile della valutazione automatica. Puoi anche fornire i risultati di inferenza.

Questo esempio di codice verifica che i risultati e le spiegazioni del responsabile della valutazione automatica siano in linea con le tue aspettative.

# Evaluation dataset schema:
#  my_question: str
#  my_context: str
#   response_a: str
#   response_b: str
#   actual: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
  'response_column_a': 'response_a',
  'response_column_b': 'response_b',
  'human_preference_column': 'actual',
}