Diffuser des modèles Spark ML à l'aide de Vertex AI

Ce tutoriel explique comment diffuser (exécuter) des prédictions en ligne à partir de modèles de machine learning (ML) créés à l'aide de Spark MLlib et gérés à l'aide de Vertex AI. Les audiences principales de ce tutoriel sont les data scientists et les ingénieurs en ML qui utilisent Spark MLlib pour créer des modèles de ML et souhaitent diffuser ces modèles dans Vertex AI.

Pour suivre ce tutoriel, vous devez remplir les conditions ci-dessous :

• Vous connaissez l'exportation de modèles Spark MLlib au format MLeap. Ce tutoriel inclut le code source d'une mise en œuvre de référence qui utilise l'environnement d'exécution MLeap pour diffuser un modèle Spark MLlib exporté vers un bundle MLeap. Pour en savoir plus, consultez la documentation MLeap.

• Vous savez utiliser Vertex AI pour diffuser des prédictions.

• Vous connaissez les images de conteneurs. Pour exécuter des prédictions à l'aide d'un modèle Sparklib, vous devez d'abord l'exporter vers un bundle MLeap. Vous utilisez ensuite un conteneur personnalisé pour diffuser les prédictions à partir du modèle exporté.

Implémentation

Cette section présente la mise en œuvre que vous allez effectuer dans ce tutoriel. Cette mise en œuvre est la même, que vous utilisiez l'exemple de modèle de ce tutoriel ou votre propre modèle MLlib.

Le schéma suivant illustre l'architecture de diffusion du modèle que vous mettez en œuvre dans ce tutoriel :

Comme décrit dans le schéma, Cloud Build utilise le code stocké dans Cloud Storage pour préparer une image de conteneur personnalisé (appelée image de conteneur de diffusion) qui est utilisée par Vertex AI pour exécuter des prédictions. Le processus de compilation compile et empaquette le code de diffusion du modèle que vous utilisez dans ce tutoriel, crée l'image de conteneur et transfère l'image à Artifact Registry.

Une fois l'image de conteneur de diffusion transférée dans Artifact Registry, le modèle doit être importé depuis Cloud Storage dans Vertex AI. Le modèle importé est configuré avec l'emplacement des artefacts de modèle dans Cloud Storage et avec l'emplacement de l'image de conteneur de diffusion dans Artifact Registry.

Vous créez ensuite un point de terminaison dans Vertex AI et vous y déployez le modèle importé. Lorsque vous déployez le modèle, Vertex AI associe des ressources physiques au modèle afin qu'il puisse diffuser les prédictions en ligne.

Vous trouverez le modèle utilisé dans ce tutoriel dans le répertoire example_model du dépôt vertex-ai-spark-ml-serving.git. Le répertoire contient les artefacts de modèle utilisés par le conteneur de diffusion pour exécuter des prédictions, et inclut les fichiers suivants:

• Le fichier example_model/model.zip est un modèle de régression logistique créé à l'aide de Spark MLlib, entraîné à l'aide de l'ensemble de données Iris et converti en bundle MLeap. Le modèle prédit la variété des iris en utilisant la longueur et la largeur des sépales et des pétales des fleurs.
• Le fichier example_model/schema.json est un fichier JSON qui décrit le schéma du modèle. Le schéma de modèle décrit les champs de saisie attendus pour les instances de prédiction et les champs de sortie pour les résultats de prédiction requis pour le schéma MLeap.

Diffuser vos propres modèles

Vous pouvez également utiliser l'image de conteneur de diffusion de ce tutoriel comme mise en œuvre de référence pour diffuser vos propres modèles. Pour diffuser vos propres modèles, vous devez fournir vos propres artefacts de modèle, y compris le bundle MLeap et le schéma du modèle.

Fournir le bundle MLeap

Le conteneur de diffusion détermine l'emplacement du bundle MLeap à l'aide de la variable d'environnement AIP_STORAGE_URI transmise de Vertex AI au conteneur au démarrage. La valeur de la variable AIP_STORAGE_URI est spécifiée lorsque vous importez le modèle dans Vertex AI. Le conteneur de diffusion de ce tutoriel s'attend à ce que le bundle MLeap soit disponible à l'adresse ${AIP_STORAGE_URI}/model.zip.

Fournir le schéma de modèle

Le schéma de modèle décrit les caractéristiques d'entrée et le résultat de la prédiction d'un modèle. Le schéma de modèle est représenté à l'aide de données JSON. Pour transmettre le schéma de modèle au conteneur de diffusion, vous pouvez appliquer l'une des méthodes suivantes :

• Spécifiez les données JSON qui définissent le schéma dans la variable d'environnement MLEAP_SCHEMA. La variable d'environnement MLEAP_SCHEMA doit contenir les données JSON, et non un chemin d'accès à un fichier contenant le schéma JSON.
• Stockez les données JSON dans un fichier nommé schema.json et mettez ce fichier à la disposition du conteneur à l'adresse ${AIP_STORAGE_URI}/schema.json. Il s'agit de la méthode que vous utilisez dans ce tutoriel.

Si vous utilisez les deux méthodes pour transmettre le schéma de modèle au conteneur de diffusion, les données JSON stockées dans la variable d'environnement MLEAP_SCHEMA sont prioritaires.

Lorsque vous utilisez vos propres modèles, vous configurez votre propre schéma. L'exemple de modèle utilise le schéma suivant pour prédire les espèces d'iris en fonction de la longueur et de la largeur des sépales et des pétales de la fleur :

{
  "input": [
    {
      "name": "sepal_length",
      "type": "FLOAT"
    },
    {
      "name": "sepal_width",
      "type": "FLOAT"
    },
    {
      "name": "petal_length",
      "type": "FLOAT"
    },
    {
      "name": "petal_width",
      "type": "FLOAT"
    }
  ],
  "output": [
    {
      "name": "probability",
      "type": "DOUBLE",
      "struct": "VECTOR"
    }
  ]
}

Dans le schéma de modèle, le tableau input contient les champs d'entrée (colonnes) à destination du modèle, tandis que le tableau output contient les champs de sortie (colonnes) à renvoyer à partir du modèle. Dans les deux tableaux, chaque objet du tableau contient les propriétés suivantes :

• name : nom du champ (colonne)
• type: type de champ (colonne). Les types valides sont BOOLEAN, BYTE, DOUBLE, FLOAT, INTEGER, LONG, SHORT et STRING.
• (Facultatif) struct: la structure du champ, telle qu'un scalaire ou un tableau. Les structures valides sont BASIC (type scalaire), ARRAY (Array Spark) et VECTOR (DenseVector Spark). BASIC est utilisé si le champ struct n'est pas présent.

Objectifs

• Décrivez une approche de diffusion des prédictions en ligne à partir de modèles Spark MLlib à l'aide de Vertex AI.
• Expliquez la fonction de l'image de conteneur de diffusion et savoir comment la configurer.
• Utilisez Vertex AI pour diffuser des prédictions en ligne à partir d'un exemple de modèle inclus dans ce tutoriel.

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

• Artifact Registry
• Cloud Build
• Container Registry
• Cloud Storage
• Vertex AI

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Une fois que vous avez terminé les tâches décrites dans ce document, vous pouvez éviter de continuer à payer des frais en supprimant les ressources que vous avez créées. Pour en savoir plus, consultez la section Effectuer un nettoyage.

Avant de commencer

1. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Accéder au sélecteur de projet

2. Vérifiez que la facturation est activée pour votre projet Google Cloud.

3. Activer les API Vertex AI, Cloud Build, Cloud Storage, and Artifact Registry.

   Activer les API

4. Dans la console Google Cloud, activez Cloud Shell.

   Activer Cloud Shell

5. Recherchez votre ID de projet et définissez-le dans Cloud Shell.

   export PROJECT_ID=YOUR_PROJECT_ID
   gcloud config set project ${PROJECT_ID}
   

   en remplaçant YOUR_PROJECT_ID par l'ID de votre projet :

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Supprimer le projet

1. Dans la console Google Cloud, accédez à la page Gérer les ressources.

   Accéder à la page Gérer les ressources

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Supprimer des ressources individuelles

1. Dans Cloud Shell, annulez le déploiement du modèle sur le point de terminaison :

   DEPLOYED_MODEL_ID=$(gcloud ai endpoints describe $ENDPOINT_ID \
       --region=$REGION \
       --format='value(deployedModels.id)')
   
   gcloud ai endpoints undeploy-model $ENDPOINT_ID \
       --region=$REGION \
       --deployed-model-id=$DEPLOYED_MODEL_ID
   

2. Supprimez le point de terminaison :

   gcloud ai endpoints delete $ENDPOINT_ID \
       --region=$REGION \
       --quiet
   

3. Supprimez le modèle :

   gcloud ai models delete $MODEL_ID \
       --region=$REGION
   

4. Supprimez l'image de conteneur de diffusion :

   gcloud artifacts docker images delete \
       $LOCATION-docker.pkg.dev/$PROJECT_ID/$REPOSITORY/$IMAGE \
       --delete-tags \
       --quiet
   

5. Supprimez le conteneur de compilateur scala-sbt :

   gcloud container images delete gcr.io/$PROJECT_ID/scala-sbt \
       --force-delete-tags \
       --quiet
   

6. Supprimez tous les buckets Cloud Storage dont vous n'avez plus besoin :

   gsutil rm -r YOUR_BUCKET_NAME
   

   La suppression d'un bucket entraîne également la suppression de tous les objets qu'il contient. Les buckets et les objets supprimés ne peuvent pas être récupérés après leur suppression.

Étape suivante

• Découvrez comment exécuter des prédictions à l'aide de Vertex AI.
• Apprenez-en plus sur Spark sur Google Cloud.
• Découvrez des architectures de référence, des schémas, des tutoriels et des bonnes pratiques concernant Google Cloud. Consultez notre Centre d'architecture cloud.