Unity Catalogのオープンソース化を発表します！
Translation Review by saki.kitaoka Unity Catalogのオープンソース化を発表できることを非常に嬉しく思います。 これは、クラウド、データ形式、データプラットフォーム全体でデータとAIのガバナンスを行う業界初のオープンソースカタログです。ここでは、Unity Catalogビジョンの最も重要な柱をご紹介します： オープンソースのAPIと実装: OpenAPI仕様に基づいて構築され、Apache 2.0ライセンスのもとでオープンソースのサーバー実装があります。Apache HiveのメタストアAPIやApache IcebergのRESTカタログAPIとも互換性があります。 マルチフォーマットサポート: 拡張性があり、Delta Lake、UniForm経由のApache Iceberg、Apache Parquet、CSVなど、すべての形式をサポートします。 マルチエンジンサポート: オープンAPIを使用して、Unityにカタログされたデータはほぼすべてのコンピュートエン
Databricks LakeFlowの登場: データエンジニアリングのための統一されたインテリジェントソリューション
Translation Review by saki.kitaoka 本日、私たちはDatabricks LakeFlowを発表します。これは、プロダクションデータパイプラインを構築および運用するために必要なすべてを含む新しいソリューションです。MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーション向けの新しいネイティブで高スケーラビリティのコネクタが含まれています。ユーザーは標準SQLおよびPythonを使用して、バッチおよびストリーミングでデータを変換できます。 さらに、Apache Spark向けのリアルタイムモードを発表し、従来のマイクロバッチよりもはるかに高速なレイテンシでストリーム処理が可能になります。最後に、CI/CDを使用してワークフローをオーケストレーションおよびモニタリングし、本番環境にデプ
Data + AI Summit 2024：データ共有とコラボレーションの最新情報
Translation Review by saki.kitaoka Databricksでは、データとAIの民主化をミッションとしています。オープンなアプローチによる共有とコラボレーションは、そのリーチとインパクトを最大化するために重要です。当社のデータインテリジェンスプラットフォーム内では Delta Sharing オープンプロトコルが顧 客のデータとAI資産の共有を簡単かつ安全にし、イノベーションを加速させます。サードパーティデータとのコラボレーションには、 Databricks Marketplace がすべてのデータ、分析、AIのニーズに対応するオープンマーケットプレイスを提供します。データパートナーのエコシステムが拡大する中で、さまざまなデータとAI資産を共有し、データ消費者がイノベーションを実現できるようにします。 Databricks Clean Rooms は、ビジネスがどのクラウド上でも安全な環境で簡単にコラボレーションできるプライバシー保護されたコラボレーションを提供します。先週、Delta
Data + AI Summit 2024：Databricks Unity Catalogの最新情報
Translation Review by saki.kitaoka 急速に進化する人工知能とデータやジェネレーティブAIツールの爆発的な増加が特徴の時代において、企業はデータとAIのガバナンスの断片化に直面しており、データとAIの民主化の努力が妨げられています。この時代に成功するためには、企業はデータとAIのガバナンスにおいてオープンで統一されたアプローチを採用する必要があります。これには次のことが含まれます： オープンな接続性： データの出所や形式に関係なく、すべてのデータの信頼できる単一の情報源を作成する。 統一されたガバナンス： すべてのデータ（ファイル、テーブル）およびAI資産（MLモデル、AIツール、ノートブック）が中央システムで発見され、安全に管理され、監視され、追跡されるように包括的な監督を実施する。 オープンなアクセシビリティ： データとAIリソースにどのツール、コンピュートエンジン、プラットフォームからでもアクセスできる柔軟性を提供し、ロックインを回避するためにオープンスタンダードとインターフ
AI/BIの発表：リアルデータに基づくインテリジェント解析の時代へ！
Translation Review by saki.kitaoka 本日、私たちは Databricks AI/BI の発表を大変楽しみにしています。これは、データの意味を深く理解し、誰でもデータを自ら分析できるように設計された新しいビジネスインテリジェンス製品です。AI/BIは、ETLパイプライン、系統、その他のクエリなど、Databricksプラットフォーム全体のデータのライフサイクルからインサイトを引き出す 複合AIシステム に基づいて構築されています。このAI/BIは、次の2つの補完的な製品体験を提供します。 AI/BIダッシュボード: AI駆動のローコードダッシュボードソリューションで、従来のBI機能をすべて備えており、固定されたビジネス質問に答えるために設計されています。 Genie: 人間のフィードバックに基づいてデータとその意味を継続的に学習し、より広範なビジネス質問に答えることができる会話型インターフェースです。データチームによって指定されたクエリパターンについては、確認済みの回答も提供します
ShutterstockのコンテンツデータセットがDatabricks Marketplaceに登場！
今日のデータドリブンの世界では、視覚的な資産と分析機能の融合により、未開発の可能性の領域が開かれます。 画像データセットは、生成AI (GenAI) テクノロジの開発とトレーニングに不可欠です。 Shutterstock の画像の膨大なコレクションを Databricks Marketplace に 提供する画期的なコラボレーションを発表できることを嬉しく思います。これは、Marketplace におけるボリューム (非表形式) データセットの最初のリストです。 この無料サンプル データセットは、Shutterstock の 5 億 5000 万点以上の画像ライブラリから抽出された 1,000 枚の画像と付随するメタデータ ソース...
直感的かつパワフル！次世代のDatabricksノートブック
過去1年間、私たちはフィードバックに耳を傾け、新しいアイデアを試行錯誤してきました。その目的はただ一つ、データサイエンティスト、エンジニア、およびSQLアナリストのために、最高のデータ中心の開発体験を構築することです。そして本日、洗練されたモダンなインターフェースと強力な新機能を備えた次世代のDatabricksノートブックを発表できることを大変嬉しく思います。これにより、コーディングとデータ分析がさらに簡単になります。 主な 機能強化は次のとおりです。 最新のUX： 新しいノートブックUIとその他の機能のGAにより、コーディング体験がスムーズになり、ノートブックの整理が向上します。 新しい結果テーブル： 出力結果に対して直接検索やフィルタリングを実行し、コードなしでのデータ探索が可能です。 より強力なPython機能： ステップスルーのデバッガー、エラーの強調表示、強化されたコードナビゲーション機能を使用して、Pythonコードをより効率的に記述できます。 AIによる開発支援： Databricksアシスタント
Delta Sharingと新時代のレイクハウス顧客データプラットフォーム (CDP) の登場
このブログに貴重な知見と貢献を提供してくれた Amperity の Caleb Benningfield 氏と Sam Malissa 氏に特に感謝します。 今日、企業はプライバシー規制に準拠しながら、大規模なパーソナライゼーションを実現するために、より膨大で複雑な顧客データを処理しなければならないという大きな課題に直面しています。 これは、データ品質を優先し、効果的なガバナンスレイヤーを実装することを意味しますが、企業が依存していた既存のツールや方法では、この課題に対応できません。 この課題に対処するために、多くの企業がクラウドデータウェアハウスとデータレイクからデータレイクハウスアーキテクチャに移行しました。 データレイクハウスは、これまでのシステムの最高の機能を組み合わせて、企業がデータを保存および管理する方法を合理化し、貴重な知見に簡単にアクセスできるようにします。 では、次は何でしょうか? 次のフロンティアは、 Databricksと Delta Sharing 上に構築されます。これにより、レプリケー
Delta Sharingで実現する安全なエンドツーエンドのコラボレーション
Reviewed by saki.kitaoka 現代 のデジタル環境において、セキュアなデータ共有は運用効率とイノベーションに不可欠です。DatabricksとLinux Foundationは、データ、分析、AI全体でのデータ共有に対する初のオープンソースアプローチとして Delta Sharing を開発しました。Databricksは、安全なデータ交換を提供し、プラットフォーム、クラウド、地域をまたいだシームレスな共有を促進します。あらゆる規模の企業が、幅広いアプリケーションと多様なデータ形式をサポートするDelta Sharingを信頼しています。この柔軟性により、データ資産の可能性を最大限に引き出そうとする組織にとって信頼できるツールとなります。 本ブログでは、Databricks Delta Sharingのセキュリティアーキテクチャを、 Databricks顧客間共有（D2D） 、 Databricks顧客からオープン共有（D2O） 、クロスクラウドデータ共有の3つの異なる共有シナリオを通じて検討し
Databricksアシスタントに自動補完機能が登場！
Databricks Assistant オートコンプリート のパブリックプレビューを発表できることを嬉しく思います。この機能は、リアルタイムでAI駆動のアシスタントがパーソナライズされたコード提案を提供します。ノートブックやSQLエディタに直接統合されており、Assistant Autocompleteの提案が開発の流れに自然に溶け込み、エディタに集中したまま作業を続けることができます。 AI によるコード提案で生産性を向上 Databricks Assistant オートコンプリートは、SQLおよびPythonでの入力中に自動的に高速なコード提案を提供します。AIコード補完は、現在のコードセルや周囲のコードセル、Unity Catalogメタデータ、DataFrameデータなどのコンテキストを使用して、入力中に非常に関連性の高い提案を生成します。 SQL Python Databricks Assistant Autocompleteを最大限に活用する方法 Databricks Assistant Autoc