データ分析

Google Cloud が「The Forrester Wave™: Data Lakehouses, Q2 2024」においてリーダーに選出

2024年5月13日

Google Cloud Japan Team

Gemini 1.5 モデルをお試しください。

Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダルモデルです。

※この投稿は米国時間 2024 年 5 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。

組織で AI の力を活かすためには、データと AI を組み合わせることが欠かせません。つまり、データから AI までのライフサイクル全体をシンプルに管理できる方法が必要となります。データクラウドを活用するために、すでに何万もの組織が BigQuery とその統合 AI 機能を選択しています。このたび、Google Cloud が「The Forrester Wave™: Data Lakehouses, Q2 2024」レポートにおいてリーダーに選出されましたのでお知らせします。Google Cloud は、15 項目で 5 段階中 5 のスコアを獲得しました。これは、プロダクトのイノベーションを提供し続けてきた Google のビジョンと実績が評価されたものと考えています。

「Google は強力な AI 機能を備えたエンタープライズレイクハウスにおいて他社をリードしています .... Google のビジョンは明確かつ差別化されたものとなっており、多様なユースケースを推進し、広い範囲で生成 AI 機能を活用できるよう、シームレスに統合され、インテリジェントで、隅々まで自動化されたレイクハウスを目指しています。…. Google は、データサイエンス、AI / ML、データエンジニアリング、BI、運用に関する分析情報などさまざまなユースケースに役立つ、堅牢なスケーラビリティを備えたエンタープライズデータレイクハウスの確立を目指す、アーキテクチャをデータファブリックへと進化させることを見据えた企業に最適です。」 - The Forrester Wave™: Data Lakehouses, Q2 2024。

Priceline、Deutsche Telekom、HCA Healthcare をはじめ多くのお客様が、すべてのデータを統合したデータレイクハウスを構築し、AI によりイノベーションを推進するために BigQuery を選んでいます。

「HCA Healthcare では、人々の治療と健康の改善に取り組んでいます。当社は、ヘルスケアの提供方法を見直し、臨床医が患者のケアに集中できるようにすることを目指しており、医師と看護師を最も支援できる場面でデータと AI を活用しています。当社は今、Google Cloud のレイクハウススタックを使用して、データと AI の統合基盤を構築しています。そこでは、患者、医師、看護師にとって最良のエクスペリエンスを築くため、BigQuery と BigLake を使いあらゆる種類や形式のデータを単一のプラットフォームで安全に発見、管理します。Google Cloud のレイクハウススタックにデータを保存しておくことで、データサイエンティスト、エンジニア、アナリストが AI を活用して迅速にイノベーションを起こせるような、マルチモーダルデータ基盤を構築できました。」 - HCA Healthcare 社、最高分析責任者、Mangesh Patil 氏

クラウドデータウェアハウスから、統合型の AI 対応データプラットフォームへ

BigQuery は、Google のような規模にも対応できるように設計されたクラウドデータウェアハウスとしてスタートしましたが、その後進化を続け、今では統合型の AI 対応データ分析プラットフォームとなっています。BigQuery では、あらゆるデータタイプ、複数のオープンフォーマット、複数のエンジン、複数のクラウドがサポートされており、スケーラブルなデータおよび AI 基盤を簡単に構築でき、優れたコストパフォーマンスを実現できます。また、Google Cloud のフルマネージド型 AI 開発プラットフォーム Vertex AI と緊密に統合されているため、統合されたエクスペリエンスをご利用いただけます。

BigQuery は、統合されたガバナンス機能ときめ細かなアクセス制御機能を活用しつつ、構造化されているか否かにかかわらず、あらゆるデータタイプを管理できるプラットフォームとしてお客様に利用されています。BigQuery の統合ストレージエンジンである BigLake は、オープンテーブル形式をサポートしているため、統合データプラットフォームのメリットを享受しながら、既存のオープンソースツールや以前のツールを使用して、構造化データや非構造化データにアクセスできます。BigLake は、Apache Iceberg、Apache Hudi、Delta Lake を含むあらゆる主要なオープンテーブル形式を BigQuery とネイティブに統合された形でサポートしているほか、DDL、DML、ストリーミングのサポートを含む、Iceberg のフルマネージドエクスペリエンスを提供しています。BigLake では、分析と AI のワークロードにまたがる構造化および非構造化データのクエリを単一のインターフェースから行うことができますが、このインターフェースは単一のランタイムメタデータサービスを基盤としています。そのため、BigLake では汎用的なテーブル定義が提供され、Google Cloud、オープンソースエンジン（コネクタ経由）、サードパーティパートナーエンジンにわたり、分析および AI ランタイムに対するきめ細かなアクセス制御ポリシーを適用することができます。

BigQuery と Vertex AI の直接の統合により、ドキュメント、音声ファイル、動画ファイルなどのマルチモーダルデータをシームレスに準備し、分析できるようになりました。BigQuery では、オブジェクトテーブルと Vertex AI Vision、Document AI、Speech-to-Text の各 API を使用して、非構造化データを分析することもできます。

Google Cloud Next '24 で発表された最近のイノベーション:

今年の年次エンドユーザー カンファレンスの機会を利用して、データ分析およびデータ レイクハウスのポートフォリオに追加されたいくつかの重要な新機能を発表いたしました。

エンタープライズのスケールとパフォーマンスBigQuery のサーバーレスアーキテクチャは、きめ細かなスケーラビリティとともに、構造化ワークロード、非構造化ワークロード、ストリーミングワークロードといったさまざまなワークロードで SQL や Spark などの異なるコンピューティングエンジンを使用できる機能を備えており、クラウドベースの他のサービスと比較して TCO を 54% 低減することができます。BigQuery では、事前のサイズ設定が不要なため、規模を気にすることなく、フルマネージド型のサーバーレスワークロード管理モデルを使用してデータを分析できます。BigQuery にサーバーレス Spark エンジンが新たに直接統合されたため、データチームは管理対象データの単一コピーを使用して共同作業を進め、同じインターフェースから SQL、Python、PySpark を柔軟に実行することができます。

データから AI までの統合型プラットフォームBigQuery を使用すると、さまざまなシステムの構造化データおよび非構造化データにアクセスし、管理して活用することができるため、Vertex AI を使用して管理対象のビジネスデータを使用してモデルをチューニングできる統合型データ基盤を手にすることができます。また、BigQuery では自社の企業データに基づき大規模言語モデル（LLM）をグラウンディングすることができます。先日、Google では、BigQuery から Gemini モデルにアクセスできる機能など、Google の世界最高レベルの AI 機能の搭載を発表しました。データとユーザーに AI を直接結び付けるため、以下のようなメリットが生まれます。

自社のデータおよびビジネスの文脈に基づきグラウンディング（トレーニング）を行うことで、LLM の効率性を高める
マルチモーダルな生成 AI のユースケースを可能にすることで、イノベーションを推進できる
ドキュメント、画像、動画を含む BigQuery データの類似性検索、レコメンデーション、取得を必要とする新しいユースケースを実現できる
ベクトルエンベディングを生成し、ベクトル検索とセマンティック検索を使用して大規模にそれらをインデックス化できる

Gemini による常時活用できるインテリジェンスデータレイクハウスソリューションである BigQuery には Gemini も搭載されているため、AI による支援を活用して、データパイプラインの構築、データの検出と分析、クエリの設計、運用の自動化に至るまで、エンドツーエンドでデータのライフサイクルを高速化することができます。Gemini in BigQuery には、メタデータ、使用状況データ、セマンティクスにアクセスしてビジネスの文脈を認識できるという特長があります。また Gemini in BigQuery では、チャット支援にとどまらず、データ探索、キュレーション、ラングリング、分析、可視化のワークフローのための新しい自然言語ベースのエクスペリエンスである BigQuery データキャンバスといった新しい視覚的エクスペリエンスもご利用いただけます。

世界レベルのセキュリティとガバナンスBigQuery には、データの管理、検出、統制を容易に行えるよう、データ品質、リネージ、プロファイリングなどの機能が備えられています。Next '24 では、統合メタデータカタログを基盤とした高度な検索機能により、BigQuery におけるデータから AI に至るガバナンスの機能をさらに拡張することを発表しました。この新しい機能により、データユーザーは、Vertex AI のモデルやデータセットを含むデータおよび AI のアセットを見つけやすくなります。BigQuery の列レベルのリネージトラッキング、Vertex AI Pipelines のリネージ、きめ細かなアクセス制御のためのガバナンスルールにより、メタデータに基づきガバナンスポリシーを定義することができます。BigQuery に組み込まれた SQL、Spark、Vertex AI にわたるすべてのデータアクセスに対して、きめ細かな制御を適用することができます。

ビジネスに AI の価値をもたらす Google のデータクラウド

このたび「The Forrester Wave™: Data Lakehouses, Q2 2024」においてリーダーに選出されたことを大変光栄に思います。Google は引き続きイノベーションを進め、お客様のパートナーとしてビジネスの変革をお手伝いしたいと考えています。Next '24 にご参加の皆様を含め、継続的なデータクラウド戦略およびイノベーションの基盤として BigQuery をお選びいただいたお客様やパートナーの皆様に感謝いたします。BigQuery について詳しくは、ウェブサイトをご覧いただくとともに、インタラクティブなチュートリアルをご活用ください。レポート全文は、The Forrester Wave™: Data Lakehouses, Q2 2024 からダウンロードいただけます。