意味レイヤー：AIパワードデータエクスペリエンスのバックボーン

意味の奥深さ：AIパワーによるデータエクスペリエンスの基盤

スポンサードコンテンツ

このガイド、「セマンティックレイヤーの5つの基本要素」は、現代のセマンティックレイヤーの幅広さを理解するのに役立ちます。

 

AIによるデータ体験

フロントエンド技術の進化により、多くのソフトウェア製品に直接品質の高い分析体験を埋め込むことが可能となり、データ製品や体験の普及がさらに加速されてきました。

• 複雑なトピックに取り組む際、最初の一歩が一番難しいです
• 「アドベクティブ拡散トランスフォーマーによる位相一般化」というタイトルです
• トレンディングAI GitHubリポジトリ：2023年10月16日の週

そして、大規模な言語モデルの登場により、データを含む複数のユースケースやドメインで新しい機能や新しいクラスの製品が可能となる、さらなる技術の進化を現在も経験しています。

LLM（Large Language Models）は、ビジネスデータに関する質問に答えるチャットボットから、データ中の信号や異常に基づいてアクションを実行するAIエージェントまで、AIによるデータ体験を次のレベルに引き上げています。

 

セマンティックレイヤーはLLMに文脈を提供する

LLMは確かに進歩ですが、すべての技術に付きものの制約も存在します。LLMは幻想を作り出します。粗悪なデータを与えると、誤った回答が生まれるという問題がさらに顕著になるのです。非整合的で無秩序なデータを人間が理解するのが難しい場合、LLMは単純に混乱を増幅させて誤った回答を出力します。

データベーススキーマをLLMに供給し、正しいSQLを生成することはできません。正しく動作し信頼できるアクションを実行するためには、LLMが消費するデータについて十分な文脈と意味論を理解する必要があります。つまり、LLMにはセマンティックレイヤーが必要です。

セマンティックレイヤーは、データを意味のあるビジネス定義に整理し、データベースを直接クエリするのではなく、これらの定義をクエリすることを可能にします。

「クエリ」のアプリケーションも「定義」と同じくらい重要です。なぜなら、セマンティックレイヤーを介してデータをクエリすることをLLMに強制することで、クエリと返されたデータの正確性が確保されるからです。セマンティックレイヤーは、LLMの幻想の問題を解決するのです。

 

さらに、LLMとセマンティックレイヤーを組み合わせることで、新しい世代のAIによるデータ体験が可能になります。Cubeでは、既に多くの組織がカスタムの社内LLMベースアプリケーションを構築しており、DelphiのようなスタートアップがCubeのセマンティックレイヤー上での即戦力のある解決策を提供しています（デモはこちら）。

この技術の最前線に立っているCubeは、データウェアハウスの上に位置し、AIエージェントに文脈を提供し、データをクエリするためのインターフェースとして機能しているため、モダンなAIテックスタックの重要な部分です。

 

Cubeのデータモデルは、LLMがデータを理解し正しいクエリを生成するための文脈となる構造と定義を提供します。Cubeは、複雑な結合やメトリックの計算をナビゲートする必要がないため、LLMはエラーが少なく幻覚を回避するのに役立ちます。これは、SQLのテーブルや列名ではなく、ビジネスレベルの用語に基づいて操作する簡単なインターフェースを提供するためです。

例えば、AIベースのアプリケーションはまず、CubeのメタAPIエンドポイントを読み取り、セマンティックレイヤーのすべての定義をダウンロードし、それらをベクターデータベースに埋め込んで保存します。後で、ユーザーがクエリを送信すると、これらの埋め込まれたデータがLLMへのプロンプトに使用され、LLMはクエリを生成してCubeに応答し、アプリケーションはそれを実行します。このプロセスは、複雑な質問に答えたり、要約レポートを作成したりするために複数回チェーンされ、繰り返すことができます。

 

パフォーマンス

 複雑なクエリやタスクを処理する際の応答時間に関しては、AIシステムはセマンティックレイヤーを複数回クエリする必要がある場合があり、異なるフィルタを適用する必要があります。

したがって、合理的なパフォーマンスを確保するためには、これらのクエリをキャッシュし、常に基礎となるデータウェアハウスにプッシュダウンするわけではありません。Cubeはリレーショナルキャッシュエンジンを提供し、生データの上に事前集計を構築し、クエリが可能な限りこれらの集計にルーティングする集計別意識を実装します。

 

セキュリティ

 最後に、AIベースのアプリケーションを構築する際には、セキュリティとアクセス制御を後回しにするべきではありません。先述のように、生のSQLを生成しデータウェアハウスで実行することは、間違った結果につながる可能性があります。

しかし、AIは追加のリスクをもたらします：制御することができず、任意のSQLを生成する可能性があるため、AIと生データストアの直接アクセスは重要なセキュリティ上の脆弱性にもなります。代わりに、セマンティックレイヤーを介してSQLを生成することで、詳細なアクセス制御ポリシーが適用されます。

 

さらに…

 

AIエコシステムとの魅力的な統合をたくさんご用意しており、皆さんと共有できることを楽しみにしています。一方、AIを活用したアプリケーションに取り組んでいる場合は、Cube Cloudの無料テストを検討してください。

さらに学ぶために、ガイド「セマンティックレイヤーの5つの重要な機能」をダウンロードしてください。  

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!