Visão geral do Data Catalog com o BigQuery

Neste documento, apresentamos uma visão geral de como o Data Catalog está relacionado ao BigQuery.

O Data Catalog é um serviço de metadados escalonável e totalmente gerenciado no Dataplex.

Casos de uso do Data Catalog

O BigQuery usa o Data Catalog para executar os seguintes casos de uso:

  • Como visualizar a linhagem de dados.
  • Pesquisar recursos a que você tem acesso.
  • Incluir tags em recursos com metadados

Para uma descrição mais completa do Data Catalog, consulte O que é o Data Catalog.

Como o Data Catalog funciona

O Data Catalog pode catalogar metadados de fontes de dados do BigQuery. Depois que seus metadados forem catalogados, você poderá adicionar seus próprios metadados a essas fontes de dados usando tags. Para um determinado projeto do BigQuery, o Data Catalog cataloga automaticamente os metadados do BigQuery sobre conjuntos de dados, tabelas, visualizações e modelos. O Data Catalog lida com dois tipos de metadados: metadados técnicos e metadados comerciais. Para saber mais sobre metadados, consulte Metadados do Data Catalog.

Pesquisa e descoberta

O Data Catalog oferece uma experiência de pesquisa eficiente baseada em predicados para metadados técnicos e comerciais associados a uma entrada do Data Catalog que representa uma fonte de dados do BigQuery. É preciso ter permissões para ler os metadados de um recurso para que seja possível aplicar a pesquisa e a descoberta nos metadados. O Data Catalog não indexa os dados em um recurso. O Data Catalog indexa apenas os metadados que descrevem uma fonte de dados do BigQuery.

O Data Catalog controla alguns metadados, como as tags geradas pelo usuário. Para todos os metadados provenientes do BigQuery, o Data Catalog é um serviço somente leitura que reflete os metadados e as permissões fornecidos pelo BigQuery. É possível fazer edições no BigQuery para adicionar, atualizar ou excluir os metadados de uma entrada de dados.

Para saber mais sobre a pesquisa no Data Catalog, consulte Pesquisar recursos do BigQuery.

Acessar o Data Catalog

É possível acessar a funcionalidade do Data Catalog usando as seguintes interfaces:

A seguir