移動
Datastream for BigQuery

Datastream for BigQuery

リレーショナル データベースから直接 BigQuery へシームレスな複製を行うことで、運用データに関するほぼリアルタイムの分析情報が得られます。

  • 低レイテンシのレプリケーションにより、BigQuery でほぼリアルタイムの分析情報を取得できます

  • MySQL、PostgreSQL、AlloyDB、SQL Server、Oracle データベースからのストリーミング データへのアクセス

  • 自動スケーリングに対応したサーバーレス プラットフォーム。プロビジョニングや管理のためのリソースも必要ありません

  • セキュアな接続が組み込まれた ELT(抽出、読み込み、変換)パイプラインの簡単なセットアップ

  • 何千ものお客様が業務データを BigQuery に複製するために使用

利点

最小限のレイテンシで運用データをレプリケートする

MySQL、PostgreSQL、AlloyDB、Oracle データベースのデータを直接 BigQuery にシームレスにレプリケートします。低レイテンシで、ソースのパフォーマンスに影響を与えません。

サーバーレス アーキテクチャのスケールアップとスケールダウンができます。

自動的にスケールするサーバーレスのアプローチにより、インフラストラクチャの管理なしで運用上のオーバーヘッドを解消します。

数分で利用を開始する

簡素化された設定エクスペリエンスにより、わずか数ステップでオペレーショナル データベースから BigQuery へのデータのレプリケーションを開始できます。

主な機能

主な機能

運用データの BigQuery へのレプリケーション

Datastream は、BigQuery の変更データ キャプチャ(CDC)機能と Storage Write API を使用して、ソースシステムから更新をほぼリアルタイムで効率的に複製します。複雑なデータ パイプライン、セルフマネージドのステージング テーブル、複雑なマージ ロジック、手動によるデータ型変換に貴重なリソースを浪費するレプリケーション ソリューションは不要になりました。

設定が簡単

Datastream では、わずか数ステップでデータを BigQuery にレプリケートできます。BigQuery でソース データベース、接続タイプ、宛先を構成するだけで、Datastream for BigQuery が過去のデータのバックフィルを開始し、以降は継続的に、新しい変更が発生すると同時に変更がレプリケートされます。

リレーショナル データベースからのストリーミング データ

Datastream は、MySQL、PostgreSQL、AlloyDB、Oracle の各種データベースから変更(挿入、更新、削除)をすべて読み取り、配信して、最小限のレイテンシで BigQuery にデータを読み込みます。ソース データベースは、オンプレミスや Cloud SQL、さらに Bare Metal Solution for Oracle などの Google Cloud サービス、または任意のクラウド上でホストすることができます。BigQuery のために構築されたエージェントレスの Google ネイティブ サービスであり、すあらゆるイベントを確実にストリーミングできます。

スキーマ ドリフトの解決

ソーススキーマが変更されると、Datastream はスキーマのドリフトをシームレスに処理し、ソースに追加された新しい列とテーブルを BigQuery に自動的に複製します。

設計から考えられたセキュリティ

Datastream は、転送中のデータを保護するための、複数の安全なプライベート接続方法をサポートしています。また、データは保存時に暗号化されます。

Falabella ロゴ
Datastream という 1 つのツールで、オペレーション データを BigQuery に準リアルタイムかつシームレスにレプリケートできます。Datastream のおかげで、運用データについての分析情報の迅速な取得、より安定したデータ プロダクトの提供、ビジネスニーズへの適切な対処が可能になりました。

René Delgado 氏、Falabella 社データ ソリューション責任者

ブログリンク

ユースケース

ユースケース

使用例
BigQuery へのサーバーレス レプリケーション

Datastream はソース データベースから変更イベント(挿入、更新、削除)を読み取り、ほぼリアルタイムで BigQuery テーブルに書き込みます。これにより、既存の BigQuery データ ウェアハウスと ML モデルを小売りの購入などのトランザクション データで拡充し、より包括的なデータの全体像を構築できます。Datastream は過去のデータのバックフィルを行い、新しい変更が発生するたびにその変更をレプリケートします。また、スキーマの変更をシームレスに処理します。

BigQuery へのサーバーレス レプリケーション
特長の比較

オペレーショナル データベースから BigQuery へデータをストリーミングするオプションを比較する

Datastream for BigQuery

トランザクション データベースから BigQuery にデータをレプリケートするためのフルマネージド ソリューション

Datastream と Dataflow

データソースの変更をレプリケートするためのカスタマイズ可能なソリューション

Datastream と Data Fusion

フルマネージド ETL サービスの一部であるコードフリー ウィザード

主な利点

  • オペレーション データを BigQuery にレプリケートする最も簡単な方法

  • 自動的にスケールアップとスケールダウンを行うサーバーレス アーキテクチャ

  • レプリケーション パイプラインのエンドツーエンドの可視性とモニタリングのための単一のインターフェース

  • 柔軟性の高いカスタマイズ可能なソリューション

  • Google の幅広い掲載先に事前に構築されたテンプレート

  • データ品質やデータ マスキングなどの追加機能の統合

  • ETL デベロッパーとデータ アナリスト向けのシンプルなインターフェース

  • レプリケーションにおける潜在的な問題とギャップを事前に特定

  • レプリケーションのパフォーマンスに関するほぼリアルタイムの分析情報

トランザクション データベースから BigQuery にデータをレプリケートするためのフルマネージド ソリューション

主な利点

  • オペレーション データを BigQuery にレプリケートする最も簡単な方法

  • 自動的にスケールアップとスケールダウンを行うサーバーレス アーキテクチャ

  • レプリケーション パイプラインのエンドツーエンドの可視性とモニタリングのための単一のインターフェース

データソースの変更をレプリケートするためのカスタマイズ可能なソリューション

主な利点

  • 柔軟性の高いカスタマイズ可能なソリューション

  • Google の幅広い掲載先に事前に構築されたテンプレート

  • データ品質やデータ マスキングなどの追加機能の統合

フルマネージド ETL サービスの一部であるコードフリー ウィザード

主な利点

  • ETL デベロッパーとデータ アナリスト向けのシンプルなインターフェース

  • レプリケーションにおける潜在的な問題とギャップを事前に特定

  • レプリケーションのパフォーマンスに関するほぼリアルタイムの分析情報

パートナーの ETL/ELT ソリューション、Kafka、バッチジョブを使用して、運用データベースのデータを BigQuery にストリーミングすることもできます。これらのオプションと比較して、Datastream には通常、サーバーレス アーキテクチャ、統合の容易さ、低レイテンシという利点があります。

料金

Datastream の料金

Datastream の料金は、処理された実際のデータに基づいています。ボリューム ベースの階層型料金体系を利用できるため、大容量のデータを移動する場合は、より手頃な価格で利用できます。料金の詳細については、データストリームの料金ページをご覧ください。

追加リソース(BigQuery、Cloud Storage、Dataflow など)は、これらのサービスの料金に従って課金されます。

次のステップ

$300 分の無料クレジットと 20 以上の Always Free プロダクトを活用して、Google Cloud で構築を開始しましょう。

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
コンソール
  • Google Cloud プロダクト
  • 100 種類を超えるプロダクトをご用意しています。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。また、すべてのお客様に 25 以上のプロダクトを無料でご利用いただけます(毎月の使用量上限があります)。
Google Cloud