「エンタープライズAIの堀はRAG +ファインチューニングです- これが理由です」
「エンタープライズAIの強化はRAG +ファインチューニングで実現 - その理由を解説します」
大規模な生成型AIで成功するために、私たちはLLMsに彼らが受けるべき勤勉さを与える必要があります。それはRAGとFine Tuningを導入することです。
LLMsに対するハイプは前例のないものですが、正当なものです。AIによって生成されたバレンシアガの頭から足までのポープ像や無脈である顧客サポートエージェントなど、生成型AIは私たちが知っている社会を変革する可能性を秘めています。
そして、多くの面で、LLMsはデータエンジニアをより価値ある存在にするでしょう−これは興味深いことです！
それでも、上司にデータ発見ツールやテキストからSQLを生成するデモを見せるのは一つのことですが、会社の固有のデータ、さらにはより懸念すべきは顧客データとそれを使用することは別のことです。
多くの場合、企業は自社の実験の財務および組織への影響に対する先見の明を持ってAIアプリケーションの構築に取り組むことなく急ぎすぎます。これは彼らのせいではありません−この（およびほとんどの）新しい技術に関して「急いで行ってしまおう」という心構えの大部分は、役員と取締役会の責任です（NFTを覚えていますか？）。
AI−特に生成型AI−が成功するためには、一歩引いて考え、任意のソフトウェアが企業に適したものになるまでにどのようになるかを思い出す必要があります。そこに到達するために、他の業界からヒントを得て企業に適した態勢として何であるかを理解し、これらの原則を生成型AIに適用することができます。
私の意見では、企業向けの生成型AIは以下のような要件を満たす必要があります：
- セキュアでプライベート： AIアプリケーションは、適切なアクセス制御を備え、データのセキュリティ、プライバシー、およびコンプライアンスを確保する必要があります。セキュリティオペレーション（SecOps）と考えてください。
- スケーラブル： AIアプリケーションは、展開、使用、およびアップグレードが容易であり、コスト効率が良い必要があります。データアプリケーションを数ヶ月かけて展開し、使いにくく、アップグレードすることができず、他の数々の問題を引き起こすようなものを購入したり構築したりすることはありません。AIアプリケーションも同じように扱うべきです。
- 信頼性がある： AIアプリケーションは十分に信頼性と一貫性があります。信頼性のないコードを生成したり、不十分なその他の洞察を生成する製品を購入または構築することについて、自身のキャリアを賭ける意欲のあるCTOを見つけるのは難しいでしょう。
これらのガードレールを念頭に置いて、生成型AIに相応しい勤勉さをもたらす時が来ました。しかし、それは簡単ではありません…
なぜ企業向けAIは実現が難しいのか？
単純に言えば、LLMアプリケーションを拡大、セキュアにするための基盤がまだ整っていないからです。
ほとんどのアプリケーションとは異なり、AIは非常にブラックボックスです。私たちは入力（生の、しばしば非構造化データ）と出力を知っていますが、そこに至るプロセスはわかりません。そして、それを拡大、セキュアにすることは困難です。
例えば、GPT-4を取り上げましょう。GPT-4はいくつかの課題（SATやAP Calculus ABの試験など）ではGPT 3.5を遥かに上回りましたが、一部の出力は幻覚に満ちていたり、これらのタスクを適切に達成するために必要な文脈が欠けている場合があります。幻覚は、一般に利用可能なまたはインターネットからスクレイピングされた情報を元にトレーニングされた公開またはオープンなLLMによって生成される応答の品質に影響を及ぼすさまざまな要素によって引き起こされます。
幻覚を軽減するために、さらに重要なのは、会社が自社の独自データを使用してLLMsを強化する必要があることです。これには、必要なビジネスコンテキストが含まれます。たとえば、顧客が航空会社のチャットボットにチケットのキャンセルを依頼する場合、モデルは顧客に関する情報、過去の取引に関する情報、キャンセルポリシーに関する情報、および他の情報をアクセスする必要があります。これらはすべて、現在データベースやデータウェアハウスに存在しています。
そのコンテキストがなければ、AIは元々訓練されたインターネット上で一般に公開されている公共情報だけを利用して推論することができます。そしてここにジレンマがあります−企業のプロプライエタリエンタープライズデータを公開し、それをビジネスワークフローや顧客体験に組み込むことは、ほぼ常に堅牢なセキュリティ、スケーラビリティ、信頼性を必要とします。
エンタープライズの準備ができたAIへの2つのアプローチ：RAGとファインチューニング
AIをエンタープライズに対応させるとき、最も重要な部分はLLM開発プロセスの最後にやってくる： リトリーバルオーグメンテッドジェネレーション（RAG） と ファインチューニングです。
ただし、RAGとファインチューニングは相互排他的なアプローチではなく、具体的なニーズとユースケースに基づいて（しばしば並行して）活用されるべきです。
RAGの使用時期
RAGはフレームワークであり、モデルがプロンプトに答えるためにデータベースにアクセスできるようにすることで、LLMの出力品質を向上させます。データベースは、厳選された信頼性の高いプロプライエタリデータであり、モデルに最新かつ信頼性のある情報を組み込むことができます。このアプローチは、顧客サポートの応答（上記のフライトキャンセルの例のようなもの）や企業のコミュニケーションプラットフォームにおける意味的な検索など、追加の文脈情報が必要なAIアプリケーションに最適です。
RAGアプリケーションは、関係データベースや特徴ファイルストアなどの構造化および非構造化データソースから関連情報を取得するように設計されており、情報の取得により、LLMの出力生成時の正確性と信頼性を向上させると同時に、幻覚の軽減とトレーニングコストの低減に非常に効果的です。 RAGは、新しい応答を生成するためにモデルに送信するデータのソースを知ることができるため、チームに透明性を提供します。
RAGアーキテクチャについて注意すべきことは、エンタープライズデータをAIモデルに提供可能にする効果的なデータパイプラインを構築できるかどうかが、その性能に大きく依存するということです。
ファインチューニングの使用時期
ファインチューニングは、既存のLLMをより小さなタスク固有のラベル付きデータセットでトレーニングし、この新しいデータに基づいてモデルのパラメーターと埋め込みを調整するプロセスです。ファインチューニングは、情報検索だけでなく、ドメインのニュアンスや専門用語にも影響を与える、事前にキュレートされたデータセットに依存しています。
当社の経験では、ファインチューニングは特定のドメインに特化した状況に最適であり、例えば法的な要旨や顧客サポートチケットに詳細なプロンプトへの応答などに適しています。また、言語の繰り返しや不一致などの情報バイアスや制約を克服するのにも適しています。いくつかの 研究によると、過去1年間で、ファインチューニングされたモデルはGPT-3などの市販のバージョンよりも大幅に優れていることが示されています。多くのユースケースでは、大型の汎用モデルよりもファインチューニングされた小型モデルの方が性能が良いことが確立されており、特定のケースではコスト効率の向上においてファインチューニングは実現可能な手段となっています。
ファインチューニングは、RAGとは異なり、より少ないデータが必要ですが、その代わりにより多くの時間と計算リソースが必要です。さらに、ファインチューニングはブラックボックスのように機能します。モデルが新しいデータセットを内部化するため、新しい応答の理由を特定することは困難であり、幻覚が依然として懸念事項となります。
ファインチューニングは、効果的なデータパイプラインを構築する必要があります（ラベル付きの！）エンタープライズデータをファインチューニングプロセスで利用可能にするためです。容易な課題ではありません。
RAGがおそらくチームに適している理由
RAGとファインチューニングは、互いに排他的なアプローチではなく、それぞれ異なる強みと弱点を持ち、共に使用することができます。ただし、ほとんどのユースケースにおいて、エンタープライズの生成AIアプリケーションを提供する際には、RAGが最も適していると考えられます。
次の理由からです：
- RAGのセキュリティとプライバシーは管理しやすい：データベースには組み込みの役割とセキュリティがあり、AIモデルとは異なり、誰が何を見るかは比較的よく理解されています。さらに、セキュアでプライベートなプロプライエタリデータのコーパスにアクセスすることで、使用されるデータをより制御することができます。ファインチューニングでは、トレーニングセットに含まれるすべてのデータがアプリケーションのすべてのユーザーに公開されるため、誰が何を見るかを管理する明確な方法がありません。多くの実践的なシナリオでは、特に顧客データの場合、それを制御できないことはありません。
- RAGはスケーラブル性が高い：ファインチューニングよりもコストが低く、後者は大規模なモデルのすべてのパラメータを更新する必要があり、計算リソースが多く必要とされます。さらに、RAGはラベリングやトレーニングセットの作成を必要とせず、モデルごとに週や月をかけて完璧にすることができる人的負荷の高いプロセスも必要ありません。
- RAGは信頼性の高い結果を生み出します。単純に言えば、RAGはダイナミックなデータとより最新のデータのキュレーションされたデータセットから決定論的な結果を生成するのに適しています。ファインチューニングはブラックボックスのように機能するため、モデルが特定の結果を生成した方法を特定することは難しく、信頼性と透明性が低下します。ファインチューニングでは、幻覚や不正確さが起こり得ます。なぜなら、モデルの重みを使用してビジネス情報を損失のある形式で符号化しているからです。
私たちの謙虚な意見では、エンタープライズ対応のAIは主にRAGに依存し、ファインチューニングはより洗練されたまたはドメイン固有のユースケースに関与します。ほとんどのアプリケーションにおいて、ファインチューニングは特定のニッチなシナリオで望ましいものであり、業界がAIを大規模に実行するために必要なコストとリソースを削減できるようになると、より頻繁に使用されるでしょう。
ただし、どちらを使用するにせよ、AIアプリケーションの開発には、これらのモデルに会社のデータを供給するパイプラインが必要となります（Snowflake、Databricks、Pineconeなどの単体のベクトルデータベース、または別のものであっても）。結局のところ、生成AIが非構造化データから分析と洞察を抽出するために社内のプロセスで使用される場合、データパイプラインが使用されます。
RAGが動作するためには、データの可観測性が必要です
2010年代初頭、機械学習は、完璧な重みを持つ特徴を与えればマジックなアルゴリズムとして奇跡を起こすと謳われました。しかし、通常、MLのパフォーマンスを改善させたのは、高品質な特徴と特にデータの品質への投資でした。
同様に、エンタープライズAIが機能するためには、生成モデルが依存するデータの品質と信頼性に焦点を当てる必要があります。おそらく、RAGアーキテクチャを使用することによって。
RAGはダイナミックな、時には最新のデータに依存しているため、エンタープライズで使用するにはデータの可観測性が必要です。第三者のデータの書式が間違っている、変換コードが誤っている、またはAirflowジョブが失敗したなど、データは様々な理由で壊れることがあります。そして、必ず壊れます。
データの可観測性によって、チームはスケールでデータまたはパイプラインの問題を監視し、アラートを発信し、トライアージを行い、解決する能力を持つようになります。これは近年、現代のデータスタックの必須の層となっており、RAGの重要性とAIの成熟度が高まるにつれて、可観測性はLLM開発の重要なパートナーとして浮上するでしょう。
RAGとエンタープライズAIが機能する唯一の方法は、データを信頼できるようにすることです。これを実現するために、チームはデータの信頼性を確保するためのスケーラブルで自動化された方法、および問題の根本原因を特定し迅速に解決するためのエンタープライズグレードの方法が必要です – 彼らが提供するLLMに影響を与える前に。
では、デファクトLLMスタックとは何ですか？
AIツールングのインフラと技術ロードマップは現在開発中であり、さまざまな問題を解決しようとする新興のスタートアップが毎日現れ、産業巨人たちもこれらの課題に取り組んでいると主張しています。企業データをAIに組み込む場合、このレースで3つの主要な競走馬が存在すると見ています。
最初の競走馬：ベクトルデータベース。Pinecone、Weaviate、その他のプラットフォームは、RAGアーキテクチャをパワーするための必須のデータベースプラットフォームとして名を馳せています。これらの技術は非常に有望ですが、セキュリティ、スケーラビリティ、信頼性の観点から、新しいスタックの一部を展開し、それをサポートするワークフローを作成する必要があります。
2番目の競走馬：OpenAIやAnthropicなどのサードパーティのLLM開発者によって構築されたモデルのホステッドバージョン。現在、ほとんどのチームは、使いやすさのためにこれらの新興のAIリーダーとのAPIを介して生成AIを使用しています。OpenAIのAPIに接続し、数分で最先端のモデルを活用する？私たちも参加します。このアプローチは、コードの生成や公開情報に基づく既知の非特定のプロンプトの解決にモデルが必要な場合、すぐに使える状態です。これらのモデルに所有権情報を組み込みたい場合は、これらのプラットフォームが提供する組み込みのファインチューニングまたはRAG機能を使用することができます。
最後に、3番目の競走馬：現代のデータスタック。SnowflakeとDatabricksは、すでにベクトルデータベースをプラットフォームに組み込むだけでなく、既にこれらのプラットフォームに保存および処理されているデータをLLMに組み込むのに役立つ他のツールも組み込むと発表しています。これは多くの場合合理的ですし、AIイニシアチブに関するデータチームが既に使用しているツールを活用することができます。基盤が整っているのに車輪を再発明する必要はありません。従来のリレーショナルデータとベクトルデータの簡単な結合の可能性もあります…他の2つの競走馬と同様に、このアプローチにはいくつかのデメリットもあります：Snowflake Cortex、Lakehouse AI、およびその他のMDS + AI製品は新興であり、ベクトル検索とモデルトレーニングを既存のワークフローに組み込むためにある程度の前向きな投資が必要です。このアプローチのより詳細な調査については、Meltanoの適切な記事をご覧ください。
選ばれた競走馬に関係なく、インターネット上のデータで訓練されたモデルでは価値あるビジネス上の問いには答えられません。そのモデルには会社内からのコンテキストが必要です。そして、このコンテキストを安全でスケーラブルで信頼性のある方法で提供することによって、企業のAIが準備万端になります。
エンタープライズAIの未来はあなたのパイプラインにあります
AIがこの潜在能力を発揮するためには、データとAIチームがLLMの拡張を適切に扱い、セキュリティ、スケーラビリティ、信頼性を第一に考える必要があります。RAGまたはファインチューニングを必要とするかどうかにかかわらず、コストを抑え、パフォーマンスを一貫させ、信頼性を高めるために、データスタックの基盤が整っていることを確認する必要があります。
データは安全でプライベートである必要があり、LLMの展開はスケーラブルである必要があります。そして、結果は信頼できるものである必要があります。データ品質を監視することによるデータの一貫性を保つことは、これらの要求にとって重要です。
孤立したXデモからエンタープライズ準備AIへの進化の最も良い点は何ですか？RAGは、生成AI投資の所有権とROIを所有し推進するために、データエンジニアにとって最適な立場を提供します。
私はエンタープライズ準備AIの準備ができています。あなたは準備ができていますか？
この記事に貢献したのはLior Gavishです。
次に進むために LinkedInでBarrと繋がって データ、AI、およびデータ信頼性の将来についての洞察をさらに得てください。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
