Ir para
Datastream para BigQuery

Datastream para BigQuery

Replicação integrada de bancos de dados relacionais diretamente para o BigQuery, permitindo insights quase em tempo real sobre dados operacionais.

  • Replicação de baixa latência para permitir insights quase em tempo real no BigQuery

  • Acesso a dados de streaming de bancos de dados MySQL, PostgreSQL, AlloyDB, SQL Server e Oracle.

  • Plataforma sem servidor com escalonamento automático, sem recursos para provisionar ou gerenciar

  • Configuração fácil de pipelines de ELT (extração, carregamento, transformação) com conectividade segura integrada

  • Usado por milhares de clientes para replicar seus dados operacionais no BigQuery

Vantagens

Replique dados operacionais com latência mínima

Replique dados dos bancos de dados MySQL, PostgreSQL, AlloyDB, SQL Server e Oracle diretamente no BigQuery, com baixa latência e sem afetar o desempenho da origem.

Aumente ou reduza a escala com uma arquitetura sem servidor

Elimine a sobrecarga operacional com uma abordagem sem servidor com escalonamento automático, sem infraestrutura para você gerenciar.

Comece a usar em minutos

Uma experiência de configuração simplificada permite começar a replicar dados dos seus bancos de dados operacionais para o BigQuery em apenas algumas etapas.

Principais recursos

Principais recursos

Replicação de dados operacionais no BigQuery

O Datastream usa a funcionalidade Change Data Capture (CDC) do BigQuery e a API Storage Write para replicar atualizações com eficiência diretamente dos sistemas de origem quase em tempo real. Você não precisa mais de soluções de replicação que desperdiçam recursos valiosos em pipelines de dados complexos, tabelas de preparo autogerenciadas, lógica de mesclagem complicada ou conversão manual de tipo de dados.

Configuração simplificada

Com o Datastream, é possível começar a replicar dados no BigQuery em algumas etapas. Basta configurar seu banco de dados de origem, o tipo de conexão e o destino no BigQuery e pronto. O Datastream para BigQuery vai preencher os dados históricos e replicar continuamente novas alterações conforme elas ocorrerem.

Dados de streaming dos bancos de dados relacionais

O Datastream lê e entrega todas as alterações (inserir, atualizar e excluir) dos bancos de dados MySQL, PostgreSQL, AlloyDB, SQL Server e Oracle no BigQuery com latência mínima. O banco de dados de origem pode ser hospedado no local, em serviços do Google Cloud, como o Cloud SQL ou a Solução Bare Metal para Oracle, ou em qualquer outro lugar na nuvem. Um serviço nativo do Google e sem agente criado especificamente para o BigQuery, que transmite de maneira confiável todos os eventos que vão acontecendo.

Resolução de deslocamento do esquema

À medida que os esquemas de origem mudam, o Datastream lida com o deslocamento de esquema com facilidade e replica automaticamente novas colunas e tabelas adicionadas na origem para o BigQuery.

Segurança incorporada ao design

O Datastream aceita vários métodos de conectividade particular e segura para proteger os dados em trânsito. Os dados também são criptografados em repouso.

Logotipo da Falabella
Com o Datastream, temos uma única ferramenta para executar uma replicação quase em tempo real dos nossos dados operacionais no BigQuery. O Datastream nos ajuda a receber insights muito mais rápidos sobre os dados operacionais, a fornecer produtos de dados mais estáveis e a atender melhor nossas necessidades de negócios.

René Delgado, diretor de soluções de dados na Falabella

Link para o blog

Casos de uso

Casos de uso

Caso de uso
Replicação sem servidor para o BigQuery

O Datastream lê eventos de mudanças (inserções, atualizações e exclusões) de bancos de dados de origem e os grava nas tabelas do BigQuery quase em tempo real. Isso permite que você aprimore os armazenamentos de dados do BigQuery e modelos de ML com dados transacionais, como compras de varejo, para criar uma imagem completa mais completa dos dados. O Datastream vai preencher os dados históricos, replicar continuamente novas mudanças à medida que elas acontecem e processar alterações de esquema com facilidade.

Replicação                     sem servidor para o BigQuery
Compare os recursos

Compare opções de streaming de dados de bancos de dados operacionais para o BigQuery

Datastream para BigQuery

Solução totalmente gerenciada para replicar dados de bancos de dados transacionais no BigQuery

Datastream e Dataflow

Solução personalizável para replicar mudanças em fontes de dados

Datastream e Data Fusion

Assistente sem código que faz parte de um serviço de ETL totalmente gerenciado

Principais vantagens

  • Opção mais fácil para replicar dados operacionais para o BigQuery

  • Arquitetura sem servidor que faz o escalonamento automático para cima e para baixo

  • Interface única para visibilidade e monitoramento completos de pipelines de replicação

  • Solução personalizável com mais flexibilidade

  • Modelos pré-criados compatíveis com o Google para vários destinos

  • Integração de outros recursos, como qualidade de dados e mascaramento de dados

  • Interface simples para desenvolvedores de ETL e analistas de dados

  • Identificação de possíveis problemas e lacunas na replicação com antecedência

  • Insights quase em tempo real sobre o desempenho da replicação

Solução totalmente gerenciada para replicar dados de bancos de dados transacionais no BigQuery

Principais vantagens

  • Opção mais fácil para replicar dados operacionais para o BigQuery

  • Arquitetura sem servidor que faz o escalonamento automático para cima e para baixo

  • Interface única para visibilidade e monitoramento completos de pipelines de replicação

Solução personalizável para replicar mudanças em fontes de dados

Principais vantagens

  • Solução personalizável com mais flexibilidade

  • Modelos pré-criados compatíveis com o Google para vários destinos

  • Integração de outros recursos, como qualidade de dados e mascaramento de dados

Assistente sem código que faz parte de um serviço de ETL totalmente gerenciado

Principais vantagens

  • Interface simples para desenvolvedores de ETL e analistas de dados

  • Identificação de possíveis problemas e lacunas na replicação com antecedência

  • Insights quase em tempo real sobre o desempenho da replicação

Também é possível fazer streaming de dados de bancos de dados operacionais para o BigQuery com soluções de ETL/ELT de parceiros, Kafka ou jobs em lote. Em comparação com essas opções, o Datastream costuma ter as vantagens da arquitetura sem servidor, a facilidade de integração e a baixa latência.

Preços

Preços do Datastream

Os preços do Datastream são baseados em dados reais processados. Os preços em níveis com base em volume estão disponíveis, o que o torna mais acessível quando você move volumes de dados maiores. Veja mais detalhes sobre preços na página de preços do Datastream.

Recursos adicionais, como o BigQuery, o Cloud Storage e o Dataflow, são cobrados de acordo com os preços desses serviços.

Vá além

Comece a criar no Google Cloud com US$ 300 em créditos e mais de 20 produtos do programa Sempre gratuito.

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
Console
Google Cloud