マネージド サービスとなった Apache Kafka を使用すれば、バージョンのアップグレードやリバランシングなどの運用上の問題を心配する必要がなくなります。 Apache Kafka for BigQuery はプレビュー版です。
機能
Apache Kafka for BigQuery は、Google Cloud と Google Distributed Cloud の両方で、既存の Kafka アプリケーションと連携します。既存の Kafka クラスタと簡単に統合して、1 つのサービスでハイブリッドのデプロイや移行を行うことができます。
Apache Kafka for BigQuery は簡単に運用できます。自動ブローカーのサイズ設定とリバランシングでクラスタ作成を処理し、時間の節約と費用の抑制を実現します。バージョンの自動アップグレード機能により、最新バージョンの Apache Kafka に対応します。また、すぐに使える Cloud Monitoring、Cloud Logging、Identity and Access Management（IAM）が付属しており、高可用性を実現するすべてのデプロイメントをデフォルトで作成します。
Apache Kafka for BigQuery は最初から安全な設計になっています。Google Cloud IAM、顧客管理の暗号鍵（CMEK）、Virtual Private Cloud（VPC）と統合され、これらをサポートしています。
仕組み
Apache Kafka for BigQuery は、高可用性の Apache Kafka クラスタを運用するマネージド サービスです。Apache Kafka のオープンソース バージョンと互換性があり、ファーストパーティの Google Cloud IAM、モニタリング、ロギング、鍵管理、組織のポリシー、ネットワーキングなどが含まれています。
一般的な使用例
BigQuery にストリーミングするための分析データの収集
Apache Kafka は、データと AI プラットフォームの基盤によく見られるテクノロジーです。多くの場合、データ エンジニアは Apache Kafka を利用して、BigQuery やその他の分析システムにデータをストリーミングするパイプラインを構築しています。Apache Kafka for BigQuery は、オペレーションのモニタリング、不正行為の検出、決済処理、商品のレコメンデーションなど、リアルタイムまたはバッチのユースケースに使用できます。
BigQuery にストリーミングするための分析データの収集
Apache Kafka は、データと AI プラットフォームの基盤によく見られるテクノロジーです。多くの場合、データ エンジニアは Apache Kafka を利用して、BigQuery やその他の分析システムにデータをストリーミングするパイプラインを構築しています。Apache Kafka for BigQuery は、オペレーションのモニタリング、不正行為の検出、決済処理、商品のレコメンデーションなど、リアルタイムまたはバッチのユースケースに使用できます。
イベント ドリブン マイクロサービスの構築
次のようなイベント ドリブン マイクロサービスを構築:
イベント ドリブン マイクロサービスの構築
次のようなイベント ドリブン マイクロサービスを構築:
料金
| Apache Kafka for BigQuery の料金 | Apache Kafka の料金は、コンピューティング、ストレージ、ネットワーキングの従量課金制料金に基づいています。 | |
|---|---|---|
| サービスと用途 | 説明 | 価格（米ドル） |
コンピューティング | コンピューティング料金には VCPU と RAM が含まれます。 | 近日提供予定 |
ストレージ | ローカル ストレージ ブローカー SSD | 近日提供予定 |
永続ストレージ 階層型の長期ストレージ | 近日提供予定 | |
データ移転 | ゾーンまたはリージョン間のトラフィック。Compute Engine と同じデータ転送料金が適用されます。 | 近日提供予定 |
Apache Kafka for BigQuery の料金
Apache Kafka の料金は、コンピューティング、ストレージ、ネットワーキングの従量課金制料金に基づいています。
コンピューティング料金には VCPU と RAM が含まれます。
近日提供予定
ストレージ
ローカル ストレージ
ブローカー SSD
近日提供予定
永続ストレージ
階層型の長期ストレージ
近日提供予定
データ移転
ゾーンまたはリージョン間のトラフィック。Compute Engine と同じデータ転送料金が適用されます。
近日提供予定
