データブリックス、レイクハウス上で直接リアルタイム分析を実現する「Lakehouse//RT」発表

従来、高い同時接続数と低レイテンシーが求められる用途では、レイクハウスとは別にリアルタイムサービングレイヤーを構築する必要がありました。しかし、この方法ではベンダーロックインやインフラコストの増大、ガバナンスの分断、データの鮮度低下といった問題が生じていました。特に、常時稼働して推論を続けるAIエージェントにとって、この仕組みは大きな制約となります。Lakehouse//RTは、レイクハウス上のDeltaおよびIcebergテーブルに直接クエリを実行することで、データのコピーや移動なしに、最新かつ信頼できる情報へアクセスできるようにします。

Lakehouse//RTの中核を担うのが、完全非同期実行モデルを採用した新しいコンピュートエンジン「Reyden」です。小規模なデータセットでは10ミリ秒、大規模なデータセットでも100ミリ秒程度の応答時間を実現します。標準的な分析ベンチマークでは毎秒12,000クエリを処理しながら100ミリ秒未満のレイテンシーを維持し、顧客環境では既存の専用リアルタイム基盤と比較して最大16倍の性能向上が確認されています。また、スループットが数万件規模に増加しても低レイテンシーを保ち、複雑な分析処理にも対応します。

Lakehouse//RTで実行されるすべてのクエリは、データブリックスの統合ガバナンスフレームワーク「Unity Catalog」の管理下に置かれます。ポリシー管理や権限管理、監査機能がネイティブに適用されるため、別途ガバナンスレイヤーを維持する必要がなく、分析サービング環境と他のデータ資産との間に一貫性が保たれます。さらに、独自フォーマットへの変換やデータコピー、取り込みパイプラインを必要とせず、既存のテーブルを指定するだけで数分以内にライブデータへのクエリを開始できます。

Ciscoのデータプラットフォーム責任者であるChris Kopek氏は、脅威情報の検索においてLakehouse//RTを活用し、応答時間が5倍改善したと述べています。別のサービングシステムを維持する代わりに、自社のレイクハウス上でワークロードを実行できる点を評価しています。また、Magniteのエンジニアリング担当シニアディレクターKayvon Raphael氏は、毎秒数百件のクエリを処理するプラットフォームにおいて、主要ダッシュボードクエリが安定して200ミリ秒未満で応答するようになり、データパイプライン管理の複雑性が大幅に削減されたとコメントしています。

A. データブリックスが発表した、レイクハウス上で直接リアルタイム分析を実行できる新サービスです。専用のコンピュートエンジン「Reyden」により、ミリ秒単位の応答性能を実現します。

A. データのコピーや移動が不要で、ガバナンスも一元管理されます。これにより、別途サービングシステムを構築・維持するコストや複雑さが解消され、最大16倍の性能向上が期待できます。

A. 多数のユーザーやAIエージェントが同時に最新データへアクセスする必要がある企業に向いています。特に、高い同時実行性と低レイテンシーが求められる分析ダッシュボードや脅威情報の検索などで効果を発揮します。

• Databricks
• ブログ記事（英語）

O!Productニュース編集部からのコメント

データコピー不要でリアルタイム分析できるのは、管理コストを下げたい現場に刺さりそうです。AIエージェントにも同じ基盤でデータを提供できるのが大きいですね。

引用元：PR TIMES