ChatGPTのためのエニグマ：PUMAは、LLM推論のための高速かつ安全なAIアプローチを提案するものです

ChatGPTにおけるエニグマ：PUMAは、高速かつ安全なAIアプローチを提案する

大規模言語モデル（LLM）は人工知能の領域で革命を起こしています。ChatGPTのリリースはLLMの時代の火付け役となり、それ以来、これらのモデルはますます改善されてきました。これらのモデルは膨大な量のデータによって可能にされ、言語理解のマスタリングから複雑なタスクの簡素化まで、その能力に感動させられました。

ChatGPTにはさまざまな代替案が提案されており、日々改善されています。特定のタスクではChatGPTを凌駕することさえあります。LLaMa、Claudia、Falconなど、新しいLLMモデルがChatGPTの座を狙っています。

しかし、ChatGPTが今でも圧倒的に最も人気のあるLLMであることは疑いありません。お気に入りのAIアプリがおそらくChatGPTのラッパーである可能性は非常に高いです。ただし、セキュリティの観点から考えると、それは本当にプライベートで安全なのでしょうか？ OpenAIはAPIデータのプライバシー保護を深く考えていることを保証していますが、同時に多くの訴訟に直面しています。彼らはモデルの使用のプライバシーとセキュリティを守るために非常に努力しているにもかかわらず、これらのモデルは制御するには強力すぎる場合があります。

• 「読むアバター：リアルな感情制御可能な音声駆動のアバター」
• 感情の解読：EmoTXによる感情と心の状態の明らかにする、新しいTransformer-Powered AIフレームワーク
• 『AI入門』

したがって、プライバシーやセキュリティに関する懸念なしにLLMのパワーを利用するにはどうすればよいでしょうか？機密データを損なうことなく、これらのモデルの能力を利用するにはどうすればよいでしょうか？それでは、PUMAにお会いしましょう。

PUMAは、データの機密性を保ちながら、Transformerモデルのセキュアで効率的な評価を可能にするために設計されたフレームワークです。これはセキュアなマルチパーティ計算（MPC）を効率的なTransformer推論と統合しています。

根本的には、PUMAはGeLUやSoftmaxなどのTransformerモデル内の複雑な非線形関数を近似する新しい技術を導入しています。これらの近似は、精度を保ちつつ効率を大幅に向上させるようにカスタマイズされています。以前の方法とは異なり、パフォーマンスを犠牲にしたり、複雑な展開戦略につながったりすることなく、PUMAのアプローチは両方の世界をバランスさせ、実世界のアプリケーションに必要な正確な結果と効率を維持します。

PUMAは、モデル所有者、クライアント、計算パーティの3つの重要なエンティティを導入しています。各エンティティはセキュアな推論プロセスで重要な役割を果たします。

モデル所有者は訓練されたTransformerモデルを提供し、クライアントは入力データを提供し、推論結果を受け取ります。計算パーティは安全な計算プロトコルを共同で実行し、データとモデルの重みがプロセス全体で安全に保護されることを確保します。 PUMAの推論プロセスの基本的な原則は、関与するエンティティのプライバシーを保護するために、入力データと重みの機密性を維持することです。

セキュア埋め込みは、セキュアな推論プロセスの基本的な側面であり、トークン識別子を使用してワンホットベクトルを生成することが伝統的に行われてきました。しかし、PUMAは、Transformerモデルの標準的なワークフローに密接に従うセキュアな埋め込みデザインを提案しています。この簡略化されたアプローチにより、セキュリティ対策がモデルの固有のアーキテクチャと干渉せず、実践的なアプリケーションでのセキュアモデルの展開が容易になります。

さらに、セキュアな推論における大きな課題は、GeLUやSoftmaxなどの複雑な関数を、計算効率と精度のバランスを取りながら近似することです。 PUMAは、これらの関数の特性を活用して、より正確な近似を設計することで、近似の精度を大幅に向上させると同時に、ランタイムと通信コストを最適化しています。

最後に、Transformerモデル内で重要な操作であるLayerNormは、分割-平方根の計算式による一意の課題を抱えています。PUMAは、セキュアなプロトコルを使用して操作をスマートに再定義することで、LayerNormの計算が安全かつ効率的に行われるようにしています。

PUMAの最も重要な特徴の一つは、シームレスな統合です。このフレームワークは、大規模なモデルアーキテクチャの変更を必要とせず、Transformerモデルのエンドツーエンドの安全な推論を容易にします。これは、最小限の努力で事前学習済みのTransformerモデルを活用できることを意味します。Hugging Faceや他のソースからダウンロードした言語モデルであっても、PUMAはシンプルな方法で処理します。元のワークフローに合わせており、複雑な再トレーニングや変更を要求しません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!