「xVal」というものに出会いましょう：科学応用のために数字を言語モデルにエンコードするための継続的な方法で、任意の数字を表すために単一のトークンだけを使用します

『xVal』というものに出会いましょう：科学応用のために数字を言語モデルにエンコードする、単一トークンで表される継続的な方法

大規模言語モデルの領域において、ひとつの迷惑な問題が浮かび上がっています。これらのモデルは多くの言語に基づくタスクをマスターすることができますが、大きな数字を含む数字の計算を行う場合にはしばしばつまづきます。具体的には、4桁の数字を二つ掛け合わせると、成功率はわずか90％足らずとなり、改善の余地があります。

この問題は、数字と他の形式の言語との固有の違いに由来しています。文字や単語とは異なり、数字は連続する値のスペクトルを包括し、厳格で複雑な規則に従います。この課題は、言語モデルと数値データの交差点についての疑問を提起し、解決策の探求を促しました。

この問題への既存の解決策はほとんどありませんし、完全なものでもありません。言語に関連するタスクで優れた性能を発揮するLLM（大規模言語モデル）が、数字の連続的かつ無限に変動する性質に対応するのに苦労しています。多くのアプローチでは、トークン化が行われ、数字が複数のトークンに分割されてモデルの複雑さやメモリ要件が増大します。

• 「多言語AIは本当に安全なのか？低リソース言語における大規模言語モデルの脆弱性を明らかにする」
• このAIの論文は、テキスト変換グラフとして言語モデルパイプラインを抽象化するプログラミングモデルであるDSPyを紹介しています
• 「取得した文書の圧縮は言語モデルのパフォーマンスを向上させることができるのか？このAIの論文では、圧縮と選択的な拡張によって検索増強型LMを改良するためのRECOMPを紹介しています」

ポリマス（Polymathic）AIの研究者は、革命をもたらしうる可能性を秘めたゲームチェンジャー、xValエンコーディング戦略を導入します。この革新的なアプローチは、科学的なアプリケーションでLLM（大規模言語モデル）内の数字のエンコーディングにおいて新しい視点を提供します。xValは、任意の数値を表すために[NUM]という単一のトークンを使用します。

xVal戦略は、LLM内の数字を異なる方法で処理することにより、これを実現します。複数のトークンに頼るのではなく、各数字を事前処理し、別々のベクトルに保存します。テキストでは数値が[NUM]トークンに置き換えられます。デコード時には、トランスフォーマーアーキテクチャ内の専用のトークンヘッドが使用され、[NUM]トークンに関連付けられた値を予測するために平均二乗誤差（MSE）損失がガイドとして使用されます。

一連の実験において、xValの能力は厳密にテストされ、他の4つの数値エンコーディング戦略と比較されました。その結果は興味深いものでした。xValは多要素タスクで他の手法を凌駕し、大規模な多桁整数の乗算などの複雑な計算でも同等の結果を示しました。

ERA5のグローバル気候データセットからの気温データに適用した場合、xValの連続性バイアスにより、トレーニング時間を最小限に抑えつつ最良のパフォーマンスを発揮しました。

惑星シミュレーションでは、外部分布のデータの予測において、他のすべてのエンコーディング方式を上回るxValの優れた補間能力が示されました。

結論として、言語モデル内での数字のエンコーディングにおいて、xValの革新的なアプローチは未来を革命する可能性を秘めています。効率的かつ正確な方法で数値を表現するという課題に対処することは、科学的な領域における革新的なアプリケーションへの扉を開くことであり、複数の科学領域を結びつける基礎モデルの開発を促進し、将来の科学的研究の景観を再定義する可能性を秘めた画期的な解決策となるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!