Criar uma VM otimizada para aceleradores

Console

1. No console do Google Cloud, acesse a página Criar uma instância.

   Acesse "Criar uma instância"

2. Especifique um Nome para sua VM. Consulte a Convenção de nomenclatura de recursos.

3. Selecione uma região e uma zona em que as GPUs estejam disponíveis. Confira a lista de regiões e zonas de GPU disponíveis.

4. Na seção Configuração da máquina, selecione a família de máquinas GPU e faça o seguinte:

   1. Na lista Tipo de GPU, selecione o tipo de GPU.

      • Para VMs com otimização de aceleradores A3, selecione NVIDIA H100 80GB.
      • Para VMs com otimização de aceleradores A2, selecione NVIDIA A100 40GB ou NVIDIA A100 80GB.
      • Para VMs otimizadas para acelerador G2, selecione NVIDIA L4.

   2. Na lista Número de GPUs, selecione o número de GPUs.

   3. Se o modelo de GPU for compatível com estação de trabalho virtual NVIDIA RTX (vWS) para cargas de trabalho gráficas e você planeja executar cargas de trabalho com muitos gráficos nessa VM, selecione Ativar Estação de trabalho virtual (NVIDIA GRID)

5. Na seção Disco de inicialização, clique em Alterar. A página Configuração do disco de inicialização será aberta.

6. Na página Configuração do disco de inicialização, faça o seguinte:

   1. Na guia Imagens públicas, escolha uma imagem do Compute Engine compatível ou Deep Learning VM Images.
   2. Especifique um tamanho do disco de inicialização de pelo menos 40 GB.
   3. Para confirmar as opções do disco de inicialização, clique em Selecionar.

7. Defina quaisquer outras configurações de VM necessárias. Por exemplo, altere as configurações de Preempção para definir a VM como preemptiva. Isso reduz o custo da VM e das GPUs anexadas. Para mais informações, consulte GPUs em instâncias preemptivas.

8. Para criar e iniciar a VM, clique em Criar.

gcloud

Para criar e iniciar uma VM, use o comando gcloud compute instances create com as sinalizações a seguir. Não é possível migrar VMs com GPUs em tempo real. Defina a sinalização --maintenance-policy=TERMINATE.

As seguintes sinalizações opcionais são mostradas no comando de amostra:

• A sinalização --preemptible que configura sua VM como uma instância preemptiva. Isso reduz o custo da VM e das GPUs anexadas. Para mais informações, consulte GPUs em instâncias preemptivas.
• A sinalização --accelerator para especificar uma estação de trabalho virtual. A NVIDIA RTX Virtual Workstations (vWS) é compatível apenas com VMs do G2.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE --restart-on-failure \
      [--preemptible] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
  

• VM_NAME: o nome da nova VM;
• MACHINE_TYPE: o tipo de máquina selecionado. Escolha uma das seguintes opções:
  • Um tipo de máquina A3.
  • Um tipo de máquina A2
  • Um tipo de máquina G2 Os tipos de máquina G2 também oferecem suporte a memória personalizada. A memória precisa ser um múltiplo de 1.024 MB e estar dentro do intervalo de memória compatível. Por exemplo, para criar uma VM com 4 vCPUs e 19 GB de memória, especifique --machine-type=g2-custom-4-19456.
• ZONE: a zona para a VM. Essa zona precisa ser compatível com o modelo de GPU selecionado.
• DISK_SIZE: o tamanho do disco de inicialização em GB Especifique um tamanho do disco de inicialização de pelo menos 40 GB.
• IMAGE: uma imagem de sistema operacional compatível com GPUs. Se você quiser usar a imagem mais recente em uma família de imagens, substitua a sinalização --image pela sinalização --image-family e defina o valor dela como uma imagem família compatível com GPUs. Exemplo: --image-family=rocky-linux-8-optimized-gcp.
  Também é possível especificar uma imagem personalizada ou Deep Learning VM Images
• IMAGE_PROJECT: o projeto de imagem do Compute Engine a que a imagem do SO pertence. Se estiver usando uma imagem personalizada ou Deep Learning VM Images, especifique o projeto a que essas imagens pertencem.
• VWS_ACCELERATOR_COUNT: o número necessário de GPUs virtuais.

REST

Envie uma solicitação POST ao método instances.insert. VMs com GPUs não podem ser migradas em tempo real, verifique se você define o parâmetro onHostMaintenance como TERMINATE.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  "automaticRestart": true
},
}

• VM_NAME: o nome da nova VM;
• PROJECT_ID: o ID do projeto.
• ZONE: a zona para a VM. Essa zona precisa ser compatível com o modelo de GPU selecionado.
• MACHINE_TYPE: o tipo de máquina selecionado. Escolha uma das seguintes opções:
  • Um tipo de máquina A3.
  • Um tipo de máquina A2
  • Um tipo de máquina G2 Os tipos de máquina G2 também oferecem suporte a memória personalizada. A memória precisa ser um múltiplo de 1.024 MB e estar dentro do intervalo de memória compatível. Por exemplo, para criar uma VM com 4 vCPUs e 19 GB de memória, especifique --machine-type=g2-custom-4-19456.
  SOURCE_IMAGE_URI: o URI da imagem ou família de imagens específica que você quer usar. Exemplo:
  • Imagem específica: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • Família de imagens: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
  Quando você especifica uma família de imagens, o Compute Engine cria uma VM a partir da imagem do SO mais recente e não obsoleta nessa família. Para mais informações sobre quando usar famílias de imagens, consulte Práticas recomendadas para famílias de imagens.
• DISK_SIZE: o tamanho do disco de inicialização em GB Especifique um tamanho do disco de inicialização de pelo menos 40 GB.
• NETWORK: a rede VPC que você quer usar para a VM. Você pode especificar para usar sua rede padrão.

• É possível reduzir o custo da VM e das GPUs anexadas usando VMs preemptivas. Para mais informações, consulte GPUs em instâncias preemptivas. Para definir a VM como preemptiva, adicione a opção "preemptible": true à solicitação.

  "scheduling":
    {
      "onHostMaintenance": "terminate",
      "automaticRestart": true,
      "preemptible": true
    }
  

• Para VMs G2, a NVIDIA RTX Virtual Workstations (vWS) é compatível. Para especificar uma estação de trabalho virtual, adicione a opção "guestAccelerators" à sua solicitação. Substitua VWS_ACCELERATOR_COUNT pelo número de GPUs virtuais necessárias.

  "guestAccelerators":
    [
      {
        "acceleratorCount": VWS_ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
      }
    ]
  

Padrão A3

• Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de VMs que usam tipos de máquina A3 padrão.
• Só é possível usar tipos de máquina A3 padrão em determinadas regiões e zonas.
• Não é possível usar discos permanentes regionais em VMs que usam tipos de máquina A3 padrão.
• O tipo de máquina A3 padrão só está disponível na plataforma Sapphire Rapids.
• Se a VM usar um tipo de máquina A3 padrão, não será possível alterar o tipo. Para usar outro tipo de máquina, é preciso criar uma nova VM.
• Não é possível alterar nenhum outro tipo de máquina para o A3 padrão. Para usar um tipo de máquina A3 padrão, crie uma nova VM.
• Os tipos de máquina A3 padrão não dão suporte a locatários individuais.
• Não é possível executar os tipos de máquina A3 padrão em sistemas operacionais Windows.

Padrão A2

• Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de VMs que usam tipos de máquina A2 padrão.
• Só é possível usar tipos de máquina padrão A2 em determinadas regiões e zonas.
• Não é possível usar discos permanentes regionais em VMs que usam tipos de máquina A2 padrão.
• Os tipos de máquina A2 padrão só estão disponíveis na plataforma Cascade Lake.
• Se a VM usa um tipo de máquina padrão A2, só é possível trocar esse tipo A2 por outro tipo A2. Não é possível mudar para outro tipo de máquina. Para mais informações, consulte Modificar VMs otimizadas para aceleradores.
• Não é possível usar o tipo de máquina padrão a2-megagpu-16g A2 em sistemas operacionais Windows. Ao usar sistemas operacionais Windows, escolha outro tipo de máquina A2.
• Não é possível fazer um formato rápido dos SSDs locais anexados em VMs do Windows que usam tipos de máquina padrão A2. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.
• Os tipos de máquina A2 padrão não dão suporte a locatários individuais.

A2 ultra

• Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de VMs que usam tipos de máquina A2 ultra.
• Você só pode usar tipos de máquinas A2 ultra em determinadas regiões e zonas.
• Não é possível usar discos permanentes regionais em VMs que usam tipos de máquina A2 ultra.
• Os tipos de máquina A2 ultra só estão disponíveis na plataforma Cascade Lake.
• Se a VM usa um tipo de máquina ultra A2, não é possível mudar o tipo de máquina. Se você precisar usar outro tipo de máquina ultra A2 ou qualquer outro tipo de máquina, crie uma nova VM.
• Não é possível trocar nenhum tipo de máquina por um tipo de máquina A2 ultra. Se você precisar criar uma VM que use uma série de máquinas A2 ultra, crie uma nova VM.
• Não é possível fazer um formato rápido dos SSDs locais anexados em VMs do Windows que usam tipos de máquina A2 ultra. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.

Padrão G2

• Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de VMs que usam tipos de máquina G2 padrão.
• Só é possível usar os tipos de máquinas padrão G2 em determinadas regiões e zonas.
• Não é possível usar discos permanentes regionais em VMs que usam tipos de máquina padrão G2.
• Os tipos de máquina G2 padrão só estão disponíveis na plataforma Cascade Lake.
• Os discos permanentes padrão (pd-standard) não são compatíveis com VMs que usam tipos de máquina padrão G2. Para saber quais são os tipos de disco compatíveis, consulte Tipos de disco compatíveis com a G2.
• Não é possível criar GPUs de várias instâncias nos tipos de máquina padrão G2.
• Se precisar mudar o tipo de máquina de uma VM G2, consulte Modificar VMs otimizadas para aceleradores.
• Não é possível usar o Deep Learning VM Images como discos de inicialização para suas VMs que usam os tipos de máquina padrão G2.
• O driver padrão atual para o Container-Optimized OS não oferece suporte a GPUs L4 em execução nos tipos de máquina G2. O Container-Optimized OS também é compatível apenas com um conjunto selecionado de drivers. Se você quiser usar o Container-Optimized OS em tipos de máquina G2, leia as seguintes observações:
  • Use uma versão do Container-Optimized OS que seja compatível com a versão mínima recomendada do driver NVIDIA ou 525.60.13. Para mais informações, consulte as Notas de lançamento do Container-Optimized OS.
  • Ao instalar o driver, especifique a versão mais recente disponível que funciona para as GPUs L4. Por exemplo, sudo cos-extensions install gpu -- -version=525.60.13.
• Use a CLI do Google Cloud ou REST para criar VMs G2 nos seguintes cenários:
  • Você quer especificar valores de memória personalizados.
  • Você quer personalizar o número de núcleos de CPU visíveis.

Imagem do SO público (G2)

É possível criar VMs com GPUs anexadas que usam uma imagem pública disponível no Compute Engine ou uma imagem personalizada.

Para criar uma VM usando a imagem mais recente e não obsoleta da Rocky Linux 8 otimizada para a família de imagens do Google Cloud que usa o tipo de máquina g2-standard-8 e tem uma estação de trabalho virtual NVIDIA RTX, conclua as etapas a seguir:

1. Crie a VM. Neste exemplo, as sinalizações opcionais, como o tipo e o tamanho do disco de inicialização, também são especificadas.

   gcloud compute instances create VM_NAME \
       --project=PROJECT_ID \
       --zone=ZONE \
       --machine-type=g2-standard-8  \
       --maintenance-policy=TERMINATE --restart-on-failure \
       --network-interface=nic-type=GVNIC \
       --accelerator=type=nvidia-l4-vws,count=1 \
       --image-family=rocky-linux-8-optimized-gcp \
       --image-project=rocky-linux-cloud \
       --boot-disk-size=200GB \
       --boot-disk-type=pd-ssd
   

   Substitua:

   • VM_NAME: o nome da VM.
   • PROJECT_ID: o ID do projeto.
   • ZONE: a zona para a VM.

2. Instale o driver NVIDIA e o CUDA. Para GPUs NVIDIA L4, a versão XX de CUDA é necessária.

Imagem de DLVM (A2)

Usar imagens de DLVM é a maneira mais fácil de começar, porque essas imagens já têm os drivers NVIDIA e bibliotecas CUDA pré-instaladas.

Essas imagens também fornecem otimizações de desempenho.

As seguintes imagens de DLVM são compatíveis com NVIDIA A100:

• common-cu110: driver NVIDIA e CUDA pré-instalados
• tf-ent-1-15-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 1.15.3 pré-instalados
• tf2-ent-2-1-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 2.1.1 pré-instalados
• tf2-ent-2-3-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 2.3.1 pré-instalados
• pytorch-1-6-cu110: driver NVIDIA, CUDA, Pytorch 1.6

Para mais informações sobre as imagens de DLVM disponíveis e os pacotes instalados nas imagens, consulte a documentação sobre VMs de aprendizado profundo.

1. Crie uma VM usando a imagem tf2-ent-2-3-cu110 e o tipo de máquina a2-highgpu-1g. Neste exemplo, são especificadas as sinalizações opcionais, como tamanho e escopo do disco de inicialização.

   gcloud compute instances create VM_NAME \
      --project PROJECT_ID \
      --zone ZONE \
      --machine-type a2-highgpu-1g \
      --maintenance-policy TERMINATE --restart-on-failure \
      --image-family tf2-ent-2-3-cu110 \
      --image-project deeplearning-platform-release \
      --boot-disk-size 200GB \
      --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
      --scopes https://www.googleapis.com/auth/cloud-platform
   

   Substitua:

   • VM_NAME: o nome da VM.
   • PROJECT_ID: o ID do projeto.
   • ZONE: a zona da VM.

2. O comando de exemplo anterior também gera uma instância de notebooks gerenciados pelo usuário do Vertex AI Workbench para a VM. Para acessar o notebook, no console do Google Cloud, acesse a página Vertex AI Workbench > Notebooks gerenciados pelo usuário.

   Acessar a página "Notebooks gerenciados pelo usuário"

COS (A3)

É possível criar VMs com GPUs H100 conectadas usando imagens do Container-Optimized OS (COS).

Para instruções detalhadas sobre como configurar VMs A3 que usam o Container-Optimized OS, consulte Melhorar o desempenho da rede com o GPUDirect-TCPX.