Crea grupos de VMs de GPU de forma masiva

gcloud

Para crear un grupo de VMs, usa el comando gcloud compute instances bulk create. Para obtener más información sobre los parámetros y cómo usar este comando, consulta Crea VMs de forma masiva.

Las siguientes marcas opcionales se muestran en el comando de muestra:

• La marca --preemptible, que configura tu VM como una instancia de VM interrumpible. Esto reduce el costo de tu VM y las GPUs adjuntas. Para obtener más información, consulta GPU en instancias interrumpibles.

• La marca --accelerator para especificar una estación de trabajo virtual. Las estaciones de trabajo virtuales (vWS) NVIDIA RTX solo son compatibles con las VMs de G2.

Ejemplo

En este ejemplo, se crean dos VMs que tienen GPUs conectadas mediante las siguientes especificaciones:

• Nombres de las VM: my-test-vm-1, my-test-vm-2
• Cada VM tiene dos GPU conectadas, especificadas mediante el tipo de máquina optimizado para aceleradores adecuado

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE --restart-on-failure \
    [--preemptible] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Reemplaza lo siguiente:

• REGION: la región para las VMs. Esta región debe ser compatible con el modelo de GPU seleccionado.

• MACHINE_TYPE: el tipo de máquina que seleccionaste. Elige una de las siguientes opciones:

  • Un tipo de máquina A3
  • Un tipo de máquina A2
  • Un tipo de máquina G2. Los tipos de máquinas G2 también admiten memoria personalizada. La memoria debe ser un múltiplo de 1,024 MB y debe estar dentro del rango de memoria admitido. Por ejemplo, para crear una VM con 4 CPU virtuales y 19 GB de memoria, especifica --machine-type=g2-custom-4-19456.

• IMAGE: una imagen del sistema operativo que admite GPU.

  Si deseas usar la imagen más reciente en una familia de imágenes, reemplaza la marca --image por la marca --image-family y configura su valor en una familia de imágenes que admita GPU. Por ejemplo: --image-family=rocky-linux-8-optimized-gcp

  También puedes especificar una imagen personalizada o una Deep Learning VM Image.

• IMAGE_PROJECT: el proyecto de imagen de Compute Engine al que pertenece la imagen de SO. Si usas una imagen personalizada o una Deep Learning VM Image, especifica el proyecto al que pertenecen esas imágenes.

• VWS_ACCELERATOR_COUNT es la cantidad de GPUs virtuales que necesitas.

Si se ejecuta de forma correcta, el resultado es similar al siguiente:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Usa el método instances.bulkInsert con los parámetros necesarios para crear varias VM en una región. Para obtener más información sobre los parámetros y cómo usar este comando, consulta Crea VMs de forma masiva.

Ejemplo

En este ejemplo, se crean dos VMs que tienen GPUs conectadas mediante las siguientes especificaciones:

• Nombres de las VM: my-test-vm-1, my-test-vm-2

• Cada VM tiene dos GPU conectadas, especificadas mediante el tipo de máquina optimizado para aceleradores adecuado

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
  {
  "namePattern":"my-test-vm-#",
  "count":"2",
  "instanceProperties": {
    "machineType":MACHINE_TYPE,
    "disks":[
      {
        "type":"PERSISTENT",
        "initializeParams":{
          "diskSizeGb":"200",
          "sourceImage":SOURCE_IMAGE_URI
        },
        "boot":true
      }
    ],
    "name": "default",
    "networkInterfaces":
    [
      {
        "network": "projects/PROJECT_ID/global/networks/default"
      }
    ],
    "scheduling":{
      "onHostMaintenance":"TERMINATE",
      "automaticRestart":true
    }
  }
  }
  

Reemplaza lo siguiente:

• PROJECT_ID: El ID de tu proyecto
• REGION: la región para las VMs. Esta región debe ser compatible con el modelo de GPU seleccionado.

• MACHINE_TYPE: el tipo de máquina que seleccionaste. Elige una de las siguientes opciones:

  • Un tipo de máquina A2
  • Un tipo de máquina G2. Los tipos de máquinas G2 también admiten memoria personalizada. La memoria debe ser un múltiplo de 1,024 MB y debe estar dentro del rango de memoria admitido. Por ejemplo, para crear una VM con 4 CPU virtuales y 19 GB de memoria, especifica --machine-type=g2-custom-4-19456.

• SOURCE_IMAGE_URI: el URI de la imagen o familia de imágenes específicas que deseas usar.

  Por ejemplo:

  • Imagen específica: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • Familia de imágenes: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp".

  Cuando especificas una familia de imágenes, Compute Engine crea una VM a partir de la imagen de SO no obsoleta más reciente de esa familia. Para obtener más información sobre el balanceo de cargas, consulta Prácticas recomendadas para las familias de imágenes.

Configuración adicional

• Puedes reducir el costo de la VM y las GPUs adjuntas mediante el uso de VMs interrumpibles. Para obtener más información, consulta GPUs en instancias de VMs interrumpibles. Para configurar la VM a fin de que sea interrumpible, agrega la opción "preemptible": true a la solicitud.

  "scheduling":
    {
      "onHostMaintenance": "terminate",
      "automaticRestart": true,
      "preemptible": true
    }
  

• Para las VM G2, se admiten estaciones de trabajo virtuales (vWS) de NVIDIA RTX. Para especificar una estación de trabajo virtual, agrega la opción guestAccelerators a tu solicitud. Reemplaza VWS_ACCELERATOR_COUNT por la cantidad de GPU virtuales que necesitas.

  "guestAccelerators":
   [
     {
       "acceleratorCount": VWS_ACCELERATOR_COUNT,
       "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
     }
   ]
  

A3 estándar

• No recibirás descuentos por uso continuo ni descuentos por compromiso de uso flexibles para las VMs que usan tipos de máquinas A3 estándar.
• Solo puedes usar los tipos de máquinas A3 estándar en ciertas regiones y zonas.
• No puedes usar discos persistentes regionales en VMs que usan tipos de máquinas A3 estándar.
• El tipo de máquina A3 estándar solo está disponible en la plataforma Sapphire Rapids.
• Si tu VM usa un tipo de máquina A3 estándar, no puedes cambiar el tipo de máquina. Si necesitas usar otro tipo de máquina, debes crear una VM nueva.
• No puedes cambiar ningún otro tipo de máquina a uno A3 estándar. Si necesitas crear una VM que use un tipo de máquina A3 estándar, debes crear una VM nueva.
• Los tipos de máquinas A3 estándar no admiten usuarios únicos.
• No puedes ejecutar tipos de máquinas A3 estándar en los sistemas operativos Windows.

A2 estándar

• No recibirás descuentos por uso continuo ni descuentos por compromiso de uso flexibles para las VMs que usan tipos de máquinas A2 estándar.
• Solo puedes usar los tipos de máquinas A2 estándar en ciertas regiones y zonas.
• No puedes usar discos persistentes regionales en VMs que usan tipos de máquinas A2 estándar.
• Los tipos de máquinas A2 estándar solo están disponibles en la plataforma Cascade Lake.
• Si tu VM usa un tipo de máquina estándar A2, solo puedes cambiar de un tipo de máquina estándar A2 a otro. No puedes cambiar a ningún otro tipo de máquina. Para obtener más información, consulta Modifica las VMs optimizadas para aceleradores.
• No puedes usar el tipo de máquina A2 estándar a2-megagpu-16g en los sistemas operativos Windows. Cuando uses sistemas operativos Windows, elige un tipo de máquina A2 estándar diferente.
• No puedes realizar un formateo rápido de las SSD locales conectados en las VMs de Windows que usan los tipos de máquinas A2 estándar. Para formatear estos SSD locales, debes realizar un formateo completo mediante el uso de la utilidad diskpart y la especificación de format fs=ntfs label=tmpfs.
• Los tipos de máquinas A2 estándar no admiten usuarios únicos.

A2 ultra

• No recibirás descuentos por uso continuo ni descuentos flexibles por compromiso de uso para las VMs que usan tipos de máquinas A2 ultra.
• Solo puedes usar los tipos de máquinas A2 ultra en ciertas regiones y zonas.
• No puedes usar discos persistentes regionales en VMs que usan tipos de máquinas A2 ultra.
• Los tipos de máquinas A2 ultra solo están disponibles en la plataforma Cascade Lake.
• Si tu VM usa un tipo de máquina A2 ultra, no puedes cambiar el tipo de máquina. Si necesitas usar un tipo de máquina A2 ultra diferente o cualquier otro tipo de máquinas, debes crear una VM nueva.
• No puedes cambiar ningún otro tipo de máquina a uno A2 ultra. Si necesitas crear una VM que use un tipo de máquina A2 ultra, debes crear una VM nueva.
• No puedes realizar un formateo rápido de las SSD locales conectados en las VMs de Windows que usan los tipos de máquinas A2 ultra. Para formatear estos SSD locales, debes realizar un formateo completo mediante el uso de la utilidad diskpart y la especificación de format fs=ntfs label=tmpfs.

G2 estándar

• No recibirás descuentos por uso continuo ni descuentos flexibles por compromiso de uso para las VMs que usan tipos de máquinas G2 estándar.
• Solo puedes usar los tipos de máquinas G2 estándar en ciertas regiones y zonas.
• No puedes usar discos persistentes regionales en VMs que usan tipos de máquinas G2 estándar.
• Los tipos de máquinas G2 estándar solo están disponibles en la plataforma Cascade Lake.
• Los discos persistentes estándar (pd-standard) no son compatibles con las VM que usan tipos de máquina estándar G2. Para conocer los tipos de discos compatibles, consulta Tipos de discos compatibles con G2.
• No puedes crear GPU de instancias múltiples en los tipos de máquinas G2 estándar.
• Si necesitas cambiar el tipo de máquina de una VM G2, revisa Modifica las VMs optimizadas para aceleradores.
• No puedes usar imágenes de Deep Learning VM Image como discos de arranque para las VMs que usan tipos de máquinas G2 estándar.
• El controlador predeterminado actual para Container-Optimized OS no es compatible con las GPU L4 que se ejecutan en los tipos de máquinas G2. Container-Optimized OS solo admite un conjunto selecto de controladores. Si deseas usar Container-Optimized OS en tipos de máquinas G2, revisa las siguientes notas:
  • Usa una versión de Container-Optimized OS que sea compatible con la versión mínima recomendada del controlador NVIDIA 525.60.13 o posterior. Para obtener más información, revisa las notas de la versión de Container-Optimized OS.
  • Cuando instalas el controlador, especifica la versión más reciente disponible que funcione para las GPU L4. Por ejemplo, sudo cos-extensions install gpu -- -version=525.60.13
• Debes usar Google Cloud CLI o REST para crear VMs de G2 en las siguientes situaciones:
  • Deseas especificar valores de memoria personalizados.
  • Deseas personalizar la cantidad de núcleos de CPU visibles.

gcloud

Para crear un grupo de VMs, usa el comando gcloud compute instances bulk create. Para obtener más información sobre los parámetros y cómo usar este comando, consulta Crea VMs de forma masiva.

Ejemplo

En el siguiente ejemplo, se crean dos VMs con GPU conectadas mediante las siguientes especificaciones:

• Nombres de las VM: my-test-vm-1, my-test-vm-2
• VM creadas en cualquier zona de us-central1 que admita GPU
• Cada VM tiene dos GPU T4 conectadas, especificadas mediante el tipo de acelerador y las marcas de recuento de aceleradores.
• Cada VM tiene instalados controladores de GPU
• Cada VM usa Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

Si se ejecuta de forma correcta, el resultado es similar al siguiente:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Usa el método instances.bulkInsert con los parámetros necesarios para crear varias VM en una región. Para obtener más información sobre los parámetros y cómo usar este comando, consulta Crea VMs de forma masiva.

Ejemplo

En el siguiente ejemplo, se crean dos VMs con GPU conectadas mediante las siguientes especificaciones:

• Nombres de las VM: my-test-vm-1, my-test-vm-2
• VM creadas en cualquier zona de us-central1 que admita GPU
• Cada VM tiene dos GPU T4 conectadas, especificadas mediante el tipo de acelerador y las marcas de recuento de aceleradores.
• Cada VM tiene instalados controladores de GPU
• Cada VM usa Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10

Reemplaza PROJECT_ID con el ID del proyecto.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }