USCとMicrosoftの研究者は、UniversalNERを提案します：ターゲット指向の蒸留で訓練され、13,000以上のエンティティタイプを認識し、43のデータセット上でChatGPTのNER精度を9%F1上回る新しいAIモデルです

USC and Microsoft researchers propose UniversalNER a new AI model trained with target-oriented distillation, capable of recognizing over 13,000 entity types and surpassing ChatGPT's NER accuracy by 9% F1 on 43 datasets.

ChatGPTと他の大規模言語モデル（LLM）は印象的な汎化能力を示していますが、その訓練および推論コストはしばしば制約があります。さらに、モデルの重みや推論確率へのホワイトボックスアクセスは、医療などのミッションクリティカルなアプリケーションにおいて説明可能性と信頼性に頻繁に重要です。その結果、学生モデルへのLLMの縮小を目的とした指示調整が人気を集めています。これらの学生モデルは、AlpacaとVicunaが示したように、ChatGPTを模倣する説得力のあるスキルを示しています。詳細な検討により、特に特定の対象となる下流アプリケーションにおいて、これらの学生モデルが理想的なLLMに追いつく必要があることが明らかになります。

制約された計算リソースのため、一般的な蒸留では、考えられるすべてのアプリケーションに対して元のLLMの表面的な近似しか作成できません。代わりに、この研究ではターゲット指向の蒸留を調査しています。この研究では、オープン情報抽出のような多様なアプリケーションクラスのためのミッション重点の指示調整によって学生モデルを訓練します。彼らは、指定されたアプリケーションクラスに対してLLMの能力を最大限に再現できることを示しています。名前付きエンティティ認識（NER）は、自然言語処理における最も基本的な問題の1つであるため、彼らはケーススタディとしてそれを選びました。最近の研究では、多数の注釈付きインスタンスがある場合、LLMはエンティティタイプにおいて最も高度な教師ありシステムに追いつく必要があることが示されています。

しかし、ほとんどのオブジェクト種類には注釈付けがほとんどできない必要があります。注釈付けの例を開発することは、特に専門知識が必要なバイオロジーなどの高価値セクターでは、コストがかかり、時間がかかります。新しいエンティティタイプが絶えず出現しています。教師ありNERモデルは、事前指定されたエンティティタイプとドメインで訓練されているため、新しいドメインやエンティティタイプに対して一般化能力が低いことも示されています。彼らはLLMのターゲット指向の蒸留のための一般的なプロセスを概説し、オープンドメインNERがそれを使用する方法を示しています。南カリフォルニア大学とマイクロソフトリサーチの研究者は、大量の未ラベルのオンラインテキストからNERのための指示調整データを作成し、LLaMAを使用してUniversalNERモデル（UniNERと略される）を作成する方法を示しています。

• インフォグラフィックスでデータ可視化をどのように使用するか？
• 「データの可視化を改善するための4つの必須リソース」
• 高パフォーマンスなリアルタイムデータモデルの構築ガイド

彼らは、医学、プログラミング、ソーシャルメディア、法律、ファイナンスなど9つの異なる分野の43のデータセットからなる、これまでで最も大規模かつ多様なNERベンチマーク（UniversalNERベンチマーク）を提供します。LLaMAとAlpacaはこのベンチマークで悪いスコア（約0のF1）を受けます。Vicunaは比較的にはるかに良いパフォーマンスを示しますが、平均F1ではChatGPTよりも20以上の絶対ポイント遅れています。一方、UniversalNERは平均F1でVicunaを30以上の絶対ポイントで上回り、UniversalNERベンチマークの数万のエンティティタイプ全体で最新のNER精度を達成します。パラメータ数（70-130億）が少ないChatGPTのエンティティを認識する能力を再現するだけでなく、UniversalNERは平均F1でChatGPTのNER精度を7-9絶対ポイント上回ります。

驚くべきことに、UniversalNERは、教師ありNERインスタンスを使用するInstructUIEのような最新のマルチタスク指示調整システムを大幅に上回ります。彼らはまた、指示プロンプトやネガティブサンプリングなどの異なる蒸留コンポーネントの効果を評価するために包括的な削除テストを行います。彼らは蒸留のレシピ、データ、およびUniversalNERモデルを提供し、ターゲット指向の蒸留に関するさらなる研究を支援するためのインタラクティブデモを提供します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!