スタンフォードの研究者が提案する「EVAPORATE：言語モデルの推論コストを110倍削減する新しいAIアプローチ」

Stanford researchers propose a new AI approach, EVAPORATE, that reduces the inference cost of language models by 110 times.

近年、大型言語モデルは常に注目を浴びています。彼らの非凡な能力と様々な分野での応用により、新しい研究論文やLLMの新しいアップデートがほぼ毎日リリースされています。現在のLLMは非常に多くのパラメータを持っており、トレーニングコストが非常に高くなっています。彼らは数兆のトークンで訓練されており、非常に高価です。

最近公開された研究論文では、スタンフォード大学とコーネル大学の学生たちが、高価なLLMの課題に取り組む方法を提案しています。チームは、大規模なドキュメントの処理時に言語モデル（LM）が高価であることを共有しています。彼らは、55百万のウィキペディアページ上での推論のコストを例に挙げており、それは10万ドルを超え、1000トークンあたりの価格は0.002ドルを超えるものです。著者らが提案した手法は、各ドキュメントごとに推論を直接実行する場合と比べて、推論コストを110倍削減し、結果の品質も向上させることができます。

このプロトタイプシステムはEVAPORATEと呼ばれ、LLMsがこのシステムを駆動し、システムを実装するための2つの異なる戦略を特定します。最初の戦略は、LLMに直接ドキュメントから値を抽出するように求めることです。2番目の戦略は、LLMに抽出を実行するコードを合成するように求めることです。チームはこれらの2つのアプローチを評価し、それらの間にコストと品質のトレードオフがあることを発見しました。コード合成はより安価でしたが、LLMで各ドキュメントを直接処理する場合よりも精度が低かったです。

• スタンフォード大学の新しい人工知能研究は、説明が意思決定時のAIシステムへの過度の依存を軽減する方法を示しています
• CMUの研究者が「Zeno」という名前の、機械学習（ML）モデルの行動評価のためのフレームワークを紹介しました
• MITとUC Berkeleyの研究者は、最小限の努力で人間がロボットに望むことを素早く教えることができるフレームワークを提案しました

EVAPORATEは、複数のドキュメント間の冗長性を特定し、効率を改善するためにそれらを利用します。チームは、医療機器のFDAレポートからデバイスの分類属性を抽出する例を使用して、これを説明しています。著者らは、LLMで各半構造化ドキュメントを処理する代わりに、LLMを使用して各ドキュメントから抽出するために再利用できる関数を生成することを検討しています。

品質を向上させ、低コストを維持するために、チームはEVAPORATE-CODE+と呼ばれる拡張コード合成実装を提案しています。この手法は多くの候補関数を生成し、弱い教師付き学習を使用してそれらの抽出をアンサンブル化します。弱い教師付き学習は通常、人間が生成した関数に適用されますが、EVAPORATE-CODE+は機械生成の関数で動作し、この設定の課題に対処して品質の向上を実現します。

EVAPORATEは、さまざまな形式、トピック、属性タイプの16セットのドキュメントで評価されました。LLMでドキュメントをサブリニアパスで処理することで、LLMが処理する必要のあるトークンの数が110倍減少しました。これは、各16の評価設定で10,000ドキュメントごとに平均化された結果です。

結論として、この論文はLLMを使用して半構造化ドキュメントからテーブルを自動抽出するための有望なアプローチを提案しています。直接抽出とコード合成のトレードオフを特定し、品質を向上させながら低コストを維持するための拡張実装を提案することで、この研究はデータ管理コミュニティに向けて進歩を遂げるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!