Usar chaves de criptografia gerenciadas pelo cliente

Por padrão, o Google Cloud criptografa os dados automaticamente quando estão em repouso usando chaves de criptografia gerenciadas pelo Google. Se você tiver requisitos específicos de conformidade ou regulatórios relacionados às chaves que protegem seus dados, use chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) para repositórios do Dataform.

Neste guia, descrevemos o uso da CMEK para o Dataform e explicamos como ativar a criptografia da CMEK em repositórios do Dataform.

Para mais informações sobre a CMEK em geral, incluindo quando e por que ela deve ser ativada, consulte a documentação da CMEK.

Criptografia CMEK de dados do repositório

Quando você aplica a criptografia da CMEK a um repositório do Dataform, todos os dados do cliente gerenciados pelo Dataform nesse repositório são criptografados em repouso usando o conjunto de chaves de proteção da CMEK para o repositório. Esses dados incluem o seguinte:

Conteúdo do repositório Git do Dataform e os espaços de trabalho dele
Consultas SQL e erros de compilação
Consultas SQL armazenadas de ações do fluxo de trabalho
Detalhes do erro das ações executadas do fluxo de trabalho

O Dataform usa chaves de proteção CMEK nos seguintes cenários:

Durante cada operação que exige a descriptografia de dados do cliente armazenados em repouso. Essas operações incluem, entre outras:
- Respostas a uma consulta do usuário, por exemplo, compilationResults.query.
- Criação de recursos do Dataform que exigem dados de repositório criptografados criados anteriormente, por exemplo, invocações do fluxo de trabalho.
- Operações do Git para atualizar o repositório remoto, como enviar uma confirmação do Git.
Durante todas as operações que exigem o armazenamento de dados em repouso do cliente. Essas operações incluem, entre outras:
- Respostas a uma consulta do usuário, por exemplo, compilationResults.create.
- operações do Git em um espaço de trabalho, por exemplo, extrair uma confirmação do Git.

O Dataform gerencia a criptografia de dados do cliente associados apenas aos recursos do Dataform. O Dataform não gerencia a criptografia de dados do cliente criada no BigQuery com a execução de fluxos de trabalho do Dataform. Para criptografar dados criados e armazenados no BigQuery, configure a CMEK para o BigQuery.

Chaves compatíveis

O Dataform oferece suporte aos seguintes tipos de chaves CMEK:

A disponibilidade das chaves varia de acordo com o tipo e a região. Para mais informações sobre a disponibilidade geográfica das chaves CMEK, consulte Locais do Cloud KMS.

Restrições

O Dataform oferece suporte à CMEK com as seguintes restrições:

Não é possível aplicar uma chave de proteção da CMEK a um repositório após a criação dele. Só é possível aplicar a criptografia da CMEK durante a criação do repositório.
Não é possível remover uma chave de proteção CMEK de um repositório.
Não é possível alterar uma chave de proteção CMEK para um repositório.
As políticas da organização de CMEK não estão disponíveis.
O uso de chaves do Cloud HSM está sujeito à disponibilidade. Para mais informações sobre a disponibilidade de chaves em vários locais, consulte Locais do Cloud KMS.

Cotas do Cloud KMS e Dataform

É possível usar as chaves do Cloud HSM com o Dataform. Quando você usa CMEK no Dataform, seus projetos podem consumir cotas de solicitações criptográficas do Cloud KMS. Por exemplo, os repositórios do Dataform criptografados por CMEK podem consumir essas cotas para cada alteração no conteúdo do repositório. As operações de criptografia e descriptografia que usam chaves CMEK só afetam as cotas do Cloud KMS se você usar chaves de hardware (Cloud HSM) ou externas (Cloud EKM). Para mais informações, consulte Cotas do Cloud KMS.

Como gerenciar chaves

Use o Cloud KMS para todas as operações de gerenciamento de chaves. O Dataform não consegue detectar nem agir de acordo com nenhuma alteração importante até que ela seja propagada pelo Cloud KMS. Algumas operações, como desativar ou destruir uma chave, podem levar até três horas para serem propagadas. As mudanças nas permissões geralmente se propagam muito mais rápido.

Após a criação do repositório, o Dataform chama o Cloud KMS para garantir que a chave ainda seja válida durante cada operação em dados do repositório criptografados.

Se o Dataform detectar que sua chave do Cloud KMS foi desativada ou destruída, todos os dados armazenados no repositório correspondente ficarão inacessíveis.

Se as chamadas do Dataform para o Cloud KMS detectarem que uma chave desativada anteriormente foi reativada, o Dataform restaurará o acesso automaticamente.

Como um status de chave indisponível é tratado

Em cenários raros, como durante períodos em que o Cloud KMS está indisponível, o Dataform pode não conseguir recuperar o status da sua chave no Cloud KMS.

Se o repositório do Dataform estiver protegido por uma chave ativada no momento em que o Dataform não conseguir se comunicar com o Cloud KMS, os dados do repositório criptografado ficarão inacessíveis.

Os dados do repositório criptografados permanecem inacessíveis até que o Dataform possa se reconectar ao Cloud KMS e o Cloud KMS responder que a chave está ativa.

Por outro lado, se o repositório do Dataform estiver protegido por uma chave desativada quando o Dataform não conseguir se comunicar com o Cloud KMS pela primeira vez, os dados do repositório criptografado permanecerão inacessíveis até que ele possa se reconectar ao Cloud KMS e você reative sua chave.

Geração de registros

É possível auditar as solicitações que o Dataform envia para o Cloud KMS em seu nome no Cloud Logging, se você tiver ativado a geração de registros de auditoria da API Cloud KMS no seu projeto. Essas entradas de registro do Cloud KMS são visíveis no Cloud Logging. Para mais informações, consulte Ver registros.

Antes de começar

Decida se você vai executar o Dataform e o Cloud KMS em projetos diferentes ou no mesmo projeto. Recomendamos o uso de projetos separados para ter mais controle sobre as permissões. Para informações sobre os códigos de projeto e os números de projeto do Google Cloud, consulte Como identificar projetos.
Para o projeto do Google Cloud que executa o Cloud KMS:
1. Ative a API Cloud Key Management Service.
2. Crie um keyring e uma chave, conforme descrito em Como criar keyrings e chaves. Crie o keyring em um local que corresponda ao local do seu repositório do Dataform:
  - Os repositórios precisam usar chaves regionais correspondentes. Por exemplo, um repositório na região asia-northeast3 precisa ser protegido com uma chave de um keyring localizado em asia-northeast3.
  - A região global não pode ser usada com o Dataform.
  Para mais informações sobre os locais compatíveis com o Dataform e o Cloud KMS, consulte Locais do Cloud.

Ativar a CMEK

O Dataform poderá acessar a chave em seu nome depois que você conceder o papel Criptografador/Descriptografador de CryptoKey (roles/cloudkms.cryptoKeyEncrypterDecrypter) do Cloud KMS à conta de serviço padrão do Dataform.

O ID da conta de serviço padrão do Dataform tem o seguinte formato:

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Para conceder o papel criptografador/descriptografador de CryptoKey à conta de serviço padrão do Dataform, siga estas etapas:

Console

Abra a página Gerenciamento de chaves no console do Google Cloud.
Abrir a página Gerenciamento de chaves
Clique no nome do keyring que contém a chave.
Clique na caixa de seleção da chave de criptografia à qual você quer adicionar o papel. A guia Permissões será aberta.
Clique em Adicionar membro.
Digite o endereço de e-mail da conta de serviço
- Se já estiver na lista de membros, a conta de serviço tem papéis. Clique na lista suspensa do papel atual da conta de serviço.
Clique na lista suspensa Selecionar um papel, clique em Cloud KMS e, depois, clique no papel Criptografador/Descriptografador de CryptoKey do Cloud KMS.
Clique em Salvar para aplicar o papel à conta de serviço.

gcloud

Use a Google Cloud CLI para atribuir a função:

gcloud kms keys add-iam-policy-binding \
    --project=KMS_PROJECT_ID \
    --member serviceAccount:SERVICE_ACCOUNT \
    --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
    --location=KMS_KEY_LOCATION \
    --keyring=KMS_KEY_RING \
    KMS_KEY

Substitua:

KMS_PROJECT_ID: o ID do projeto do Google Cloud que está executando o Cloud KMS.
SERVICE_ACCOUNT: o endereço de e-mail da sua conta de serviço padrão do Dataform
KMS_KEY_LOCATION: o nome do local da chave do Cloud KMS.
KMS_KEY_RING: o nome do keyring da chave do Cloud KMS
KMS_KEY: o nome da chave do Cloud KMS.

Aplicar a CMEK a um repositório

É possível aplicar a proteção da CMEK a um repositório do Dataform durante a criação dele.

Para aplicar a criptografia CMEK a um repositório do Dataform, especifique uma chave do Cloud KMS ao criar o repositório. Para mais instruções, consulte Criar um repositório.

Não é possível alterar o mecanismo de criptografia de um repositório do Dataform após a criação dele.

Para mais informações, consulte Restrições.

A seguir

Para saber mais sobre a CMEK, consulte a Visão geral de CMEK.
Para saber mais sobre as cotas do Cloud KMS, consulte Cotas do Cloud KMS.
Para saber mais sobre os preços do Cloud KMS, consulte Preços do Cloud KMS.
Para saber mais sobre os repositórios do Dataform, consulte Introdução aos repositórios.