スケールにおける言語モデリング：Gopher、倫理的考慮事項、および情報の検索

Language Modeling at Scale Gopher, Ethical Considerations, and Information Retrieval.

言語とその役割は、知識や理解を示すためにおよび促進するために、人間であるという基本的な要素です。それにより、人々は思考や概念を伝える能力、アイデアを表現する能力、記憶を作り出す能力、および相互理解を築く能力を得ることができます。これらは社会的知能の基礎的な要素です。DeepMindのチームでは、言語処理とコミュニケーションの側面を、人工エージェントと人間の両方で研究しています。

より強力な言語モデル（テキストを予測および生成するシステム）の開発と研究は、AIシステムの高度な構築において、情報を要約し、専門的なアドバイスを提供し、自然言語による指示に従うために、安全かつ効率的に使用できる大きな潜在能力を持っていると考えています。有益な言語モデルの開発には、リスクを含む潜在的な影響を研究する必要があります。これには、既存のデータセットでアルゴリズムをトレーニングすることが生み出す課題に対処するために、異なるバックグラウンドを持つ専門家の協力が必要です。

本日、この学際的なアプローチを反映した言語モデルに関する3つの論文を公開します。それには、Gopherという2800億パラメータのトランスフォーマーモデルについて詳細に研究した論文、大規模な言語モデルに関連する倫理的および社会的なリスクについて研究した論文、およびトレーニング効率の向上を目指した新しいアーキテクチャについて調査した論文が含まれます。

Gopher – 2800億パラメータの言語モデル

言語モデルの探求と新しいモデルの開発を目指して、私たちはさまざまなサイズのトランスフォーマーモデルをトレーニングしました。モデルのサイズは4,400万パラメータから2800億パラメータ（最大のモデルであるGopher）までの範囲にわたります。

• AIを用いて量子スケールで物質をシミュレーションする
• MuZeroの研究から現実世界への第一歩
• 学習されたプラズマ制御を通じて融合科学の加速化

私たちの研究では、異なるサイズのモデルの強みと弱点を調査し、モデルのスケールを増やすことがパフォーマンスを向上させる領域（例：読解力、事実の確認、有害言語の識別など）を明らかにしました。また、モデルのスケールが結果を著しく改善しない領域（例：論理的な推論、常識的なタスクなど）も示しました。

私たちの研究では、Gopherの能力が既存の言語モデルを上回ることがわかりました。これには、大規模な多目的言語理解（MMLU）ベンチマークが含まれます。Gopherは、前の研究に比べて人間の専門家のパフォーマンスに大きく近づいています。

数量的評価だけでなく、私たちはGopherとの直接的な対話を通じてモデルを探求しました。私たちの主な発見の1つは、Gopherが対話型の対話（チャットなど）に向けてプロンプトされた場合、モデルが時折驚くほどの一貫性を発揮することがあるということでした。

ここでは、Gopherは細胞生物学について議論し、特定の対話の微調整がないにもかかわらず、正しい引用を提供することができます。ただし、私たちの研究では、モデルのサイズを超えて存在するいくつかのエラーモードも詳細に説明しています。これには、繰り返しの傾向、ステレオタイプのバイアスの反映、および誤った情報の確信的な伝播などがあります。

このような分析は重要です。なぜなら、失敗モードを理解し文書化することによって、大規模な言語モデルが下流の被害を引き起こす可能性についての洞察が得られ、研究におけるリスクに対処するための焦点をどこに置くべきかがわかるからです。

大規模言語モデルによる倫理的および社会的リスク

2つ目の論文では、言語モデルに関連する倫理的および社会的なリスクを予測し、これらのリスクと失敗モードを包括的に分類し、この分野での事前研究を基に構築しました[ Bommasani et al 2021 , Bender et al 2021 , Patterson et al 2021 ]。この体系的な概要は、これらのリスクを理解し、潜在的な被害を軽減するための重要なステップです。私たちは、言語モデルに関連するリスクを6つのテーマ領域に分類したリスクの分類法を提示し、21のリスクについて詳細に説明しています。

異なるリスク領域を広い視野で見ることは重要です。私たちの論文で示したように、単一のリスクに焦点を絞りすぎることは他の問題を悪化させる可能性があります。私たちが提示する分類法は、専門家や一般の議論の基盤となり、言語モデルに関連する倫理的および社会的な考慮事項の共有の概要を構築し、責任ある意思決定を行い、特定のリスクに対処する手法を交換するためのものです。

私たちの研究では、特に2つの分野がさらなる研究を必要としていることが分かっています。まず、現在のベンチマーキングツールは、言語モデルが誤情報を出力し、人々がその情報を真実と信じてしまうなど、いくつかの重要なリスクを評価するためには不十分です。こうしたリスクを評価するには、言語モデルとの人間との相互作用をより詳細に検証する必要があります。私たちの論文では、同様に新しいまたはより学際的な分析ツールが必要ないくつかのリスクを挙げています。第二に、リスク緩和にはさらなる取り組みが必要です。たとえば、言語モデルは有害な社会的ステレオタイプを再現することが知られていますが、この問題に関する研究はまだ初期の段階にあります。最近のDeepMindの論文でもそのようなことが示されています。

インターネットスケールの検索を用いた効率的なトレーニング

私たちの最終論文は、Gopherの基礎と倫理的および社会的リスクのタクソノミーに基づき、トレーニングのエネルギーコストを削減し、モデルの出力をトレーニングコーパス内のソースに追跡しやすくする改良された言語モデルアーキテクチャを提案しています。

Retrieval-Enhanced Transformer（RETRO）は、インターネットスケールの検索メカニズムで事前トレーニングされます。脳が学習時に専用のメモリメカニズムに依存する方法に着想を得て、RETROはテキストのパッセージを効率的にクエリし、予測を改善します。生成されたテキストとRETROが生成に依存したパッセージを比較することで、モデルがなぜ特定の予測を行い、それがどこから来たのかを解釈することができます。また、RETROは、パラメータ数が桁違いに少ない通常のTransformerと比較して同等の性能を達成し、いくつかの言語モデリングベンチマークで最先端の性能を達成します。

今後の展望

これらの論文は、DeepMindの言語研究の基盤を提供し、特にこれらのモデルが評価および展開される方法に影響を与える分野で重要な役割を果たすでしょう。これらの分野に取り組むことは、AIエージェントとの安全な相互作用を確保するために重要です。人々がエージェントに望むことを伝えることからエージェントが自分の行動を説明することまで。安全性に関するコミュニケーションの利用に関する広範な共同研究には、自然言語による説明、不確実性の削減のためのコミュニケーションの利用、複雑な意思決定を拡大、議論、再帰的な報酬モデリングなどが含まれます。これらはすべて重要な探索領域です。

言語モデルに関する研究を進めるにあたり、DeepMindは慎重かつ綿密なアプローチを取ります。私たちは、自分たちが置かれている状況を評価し、潜在的なリスクをマッピングし、緩和策について研究するために一歩引いて考える必要があります。私たちは、モデルの制約について透明性を持ってオープンに取り組み、特定されたリスクを軽減するために努力します。各ステップで、私たちは私たちの多様な専門チーム、言語、ディープラーニング、倫理、安全チームの広範な専門知識を活用します。このアプローチは、科学の進歩と人類の利益のために知能を解決する大規模な言語モデルを創造するために不可欠です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!