「マイクロソフトのこのAI論文では、生物医学、ファイナンス、法律のパフォーマンス向上のため、人間の読解能力を模倣した言語モデルのトレーニングに新しいアプローチが紹介されています」

「マイクロソフトの最新AI論文 人間の読解能力を模倣した言語モデルのトレーニングにおける新たなアプローチが生物医学、ファイナンス、法律のパフォーマンス向上に貢献」

特定のドメインにおいて、汎用の大規模言語モデル（LLM）が飽和したため、ドメイン固有の大規模言語モデルが登場しました。既存の手法は3つの主要なカテゴリに分類することができます。最初の手法では、汎用のコーパスとドメイン固有のコーパスの組み合わせを使用してモデルをゼロから構築します。これによりドメイン固有のLLMが自然に生成されますが、大量の計算とデータが必要となり、深刻な問題が発生します。2番目の手法はより経済的であり、監督付きデータセットを使用して言語モデルを改善します。しかし、すべてのドメイン固有の活動に利用できるドメイン知識を適切に調整されたLLMがどれほど理解できるかが問題となります。3番目の手法では、回復したドメイン情報を用いて一般的な言語モデルに動機付けを与え、直接的な改善ではなくLLMそのものの応用と見なすことができます。

マイクロソフトの研究者は、特定のドメインのコーパスに対してドメイン適応型の事前学習、またはドメイン固有の自然言語処理モデルをカスタマイズするための継続的な事前学習が有用であると考えています。ドメイン固有の知識と広範な能力を組み合わせることで、この手法はドメイン固有の活動に利益をもたらし、同時にコストを削減します。これは、継続的な事前学習が広範な生成モデルにとっても同様に有利かどうかを調査する彼らの研究を推進しています。バイオロジー、ファイナンス、法律の3つのドメインで予備実験を行い、生のコーパスへのさらなるトレーニングがプロンプトの性能を大幅に低下させつつ、微調整評価と知識探索テストに対する利益を維持することを発見しました。これにより、ドメイン適応型の生のコーパスを使用した事前学習は、LLMにドメインに関する知識を教える一方で、プロンプトの能力を損なう結果となります。

図1は読解テキストの簡略な例を示しています。生のテキストの後には、サマリー（紫）、単語からテキスト（青）、自然言語推論（赤）、常識的な推論（青緑）、類似文検出（黄）、テキスト補完（緑）など、それに基づいて構築された複数のタスクが続きます。

• NVIDIAの創設者兼CEO、ジェンセン・ファンが、NVIDIAがもたらした兆ドル規模のビジョンの創造の舞台となったデニーズに戻ってきました
• 検索の未来：ChatGPT、音声検索、画像検索がデジタルランドスケープを革新している方法
• ラングチェーン101：パート2ab （大規模な言語）モデルについて知っておくべきすべて

彼らは、大量の生のコーパスを読解テキストに変換するための明快なアプローチを提供し、ドメイン固有の知識を利用してプロンプトの性能を向上させます。図1に示されているように、各生のテキストには、トピックに関連するいくつかのタスクが付属しています。これらの演習は、元のテキストのコンテキストに応じて、モデルが自然言語でのクエリに対応する能力を継続的にサポートすることを目的としています。さらにプロンプト能力を向上させるために、彼らは読解テキストに対してさまざまな一般的な指示を提供します。彼らのバイオロジー、経済学、法律におけるテストは、彼らの手法がさまざまなドメイン固有のタスクにおけるモデルの性能をどれほど向上させるかを示しています。彼らは最終モデルをAdapted Large Language Model（AdaptLLM）と呼びます。将来的には、このプロセスを拡大し、新たなドメイン全体のジョブの拡大するキャンバスに追加することを計画しています。

結論として、彼らの貢献は次のとおりです：

・大規模言語モデルに対する継続的な事前学習に関する調査において、ドメイン固有の生のコーパスでモデルをトレーニングを続けることにより、ドメイン知識を提供する一方で、プロンプトの能力が著しく低下することが分かりました。

・プロンプトの能力を維持しながらドメイン知識を効率的に学ぶために、彼らは大規模な生のコーパスを読解テキストに自動的に変換する明快な手法を提案します。彼らのテストは、バイオロジー、ファイナンス、法律の3つの異なる分野でモデルのパフォーマンスを定期的に向上させることを示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!