「Embroid」を紹介します：複数の小さなモデルから埋め込み情報を組み合わせるAIメソッドで、監視なしでLLMの予測を自動的に修正することができます

「Embroid」は、複数の小さなモデルから埋め込み情報を組み合わせるAIメソッドで、監視なしでLLMの予測を自動的に修正することができます

もしも、薬や医療歴に基づいた基本的なデータ分析を行うための言語モデル（LM）をプログラムしたとしたら、機械学習モデルのトレーニングには、各種患者の歴史を含むラベル付きデータが必要です。大規模なラベル付きデータセットを構築するのは非常に困難です。ドメインの専門家による手動のラベリングが必要であり、これは費用がかかります。こういったモデルにはどのように対処しますか？

スタンフォード大学、Anthropic、およびウィスコンシン大学マディソン校の研究者たちは、言語モデルを設計して、文脈における注釈付けタスクの学習を行い、手動のラベリングをスケール化して置き換える方法に取り組んでいます。LMの文脈における能力により、モデルはプロンプトの説明からタスクを記憶することができます。彼らは、プロンプト自体ではなく、プロンプトの予測を修正することを試みます。なぜなら、言語モデルはプロンプトのわずかな変更にも敏感であり、誤った予測を生み出す可能性があるからです。

研究者のアプローチは、正確な予測は一貫性も持つべきという直感に基づいています。ある特徴表現の下で似たようなサンプルは同じプロンプトの予測を受けるべきです。彼らは「Embroid」という手法を提案しており、異なる埋め込み関数の下でデータセットの複数の表現を計算し、LMの予測の一貫性を利用して誤った予測を特定します。Embroidはこれらの近傍を使用して、各サンプルに対して追加の予測を生成します。これらはさらに単純な変数グラフィカルモデルと組み合わせて、最終的な修正予測を決定します。

• 「ONNXフレームワークによるモデルの相互運用性と効率の向上」
• トムソン・ロイターが6週間以内に開発したエンタープライズグレードの大規模言語モデルプレイグラウンド、Open Arena
• Amazon SageMakerを使用して、オーバーヘッドイメージで自己教師ありビジョン変換モデルをトレーニングする

一つの当然の疑問は、データセットのサイズが変わるとEmbroidの性能向上も変わるのかということです。研究者は、Embroidは異なる埋め込み空間の最近傍に依存しているため、注釈付きデータセットが小さい場合には性能が低下する可能性があると述べています。また、埋め込みのドメイン特異性が変化した場合や埋め込み空間の品質が変化した場合の性能の変動を比較しました。その結果、いずれの場合でも通常の言語モデルよりも優れた性能を示すことがわかりました。

研究者によれば、Embroidは弱教師あり学習で開発された統計的な技術も使用しています。弱教師あり学習では、複数のノイズの予測を組み合わせて未ラベルのデータの確率的なラベルを生成することが目的です。彼らは、埋め込みを使用して追加の合成予測を構築し、これを元の予測と組み合わせると述べています。

研究者は、95の異なるタスクについてEmbroidを他の6つの言語モデルと比較しました。各言語モデルについて、文脈内デモンストレーションの3つの組み合わせを選択し、各プロンプトの予測にEmbroidを独立して適用しました。その結果、GPT-JTではタスクごとに平均7.3ポイント、GPT-3.5ではタスクごとに平均4.9ポイント、元のプロンプトよりも性能が向上することがわかりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!