AIとの対話：より優れた言語モデルの構築

AI対話：言語モデルの向上

新しい研究は、語用論と哲学に基づいて、会話エージェントを人間の価値観に合わせる方法を提案しています

言語は本質的な人間の特徴であり、私たちが思考、意図、感情などの情報を伝える主要な手段です。AI研究の最近のブレイクスルーにより、人間と微妙なやり取りができる会話エージェントが作成されました。これらのエージェントは、大規模な言語モデルによって駆動されています。これは、高度な統計的技術を使用してテキストベースの資料の膨大なコーパスを訓練し、テキストを予測・生成するために使用されます。

しかし、InstructGPT、Gopher、LaMDAなどの言語モデルは、翻訳、質問応答、読解などのタスクで記録的なパフォーマンスを達成している一方で、有害な言語や差別的な言語、虚偽または誤解を招く情報を生成する可能性があることも示されています [1, 2, 3]。

これらの欠点により、会話エージェントの生産的な使用は制限され、特定のコミュニケーションの理想には及ばないことが明らかになります。これまでのアプローチでは、会話エージェントの調整に関しては、主に危害のリスクを予測し軽減することに焦点を当ててきました [4]。

私たちの新しい論文「AIとの対話：人間の価値観に合わせる言語モデルの調整」は、異なる会話ドメインにおける人間と人工的な会話エージェントの成功したコミュニケーションのあり方や、これらの相互作用を導くべき価値観について探求する異なるアプローチを取ります。

• DragonDiffusionをご紹介します：拡散モデルでのドラッグスタイル操作を可能にする細かい画像編集手法
• OpenAIが「スーパーアラインメント」を紹介：安全で整合性のあるAIの道を切り拓く
• ロジスティック回帰における行列とベクトルの演算

語用論からの洞察

これらの問題に対処するために、この論文は言語学と哲学の伝統である語用論に基づいています。語用論は、会話の目的、文脈、関連する規範が、健全な会話の実践の重要な部分を形成すると考えます。

会話を二人以上の参加者間の協力的な取り組みとモデル化することで、言語学者で哲学者のポール・グライスは、参加者は次のようにすべきだと主張しました：

• 情報提供
• 真実を伝える
• 関連情報を提供する
• 曖昧な表現を避ける

しかし、私たちの論文では、これらの規範を評価するためにはさらなる精緻化が必要であることを示しています。なぜなら、異なる会話ドメインに埋め込まれた目標と価値観の変動があるからです。

話し合いの理想

具体例として、科学的な調査とコミュニケーションは主に経験的な現象を理解または予測することを目的としています。これらの目標に基づいて、科学的な調査を支援するために設計された会話エージェントは、十分な経験的証拠によって確認された真実である文のみを述べるか、関連する信頼区間に基づいてその立場を修飾する必要があります。

例えば、「4.246光年の距離にあるプロキシマ・ケンタウリは地球に最も近い星です」と報告するエージェントは、その文が事実と一致するかどうかモデルが確認した後にのみ行うべきです。

一方、公共の政治的対話におけるモデレーターとしての会話エージェントは、まったく異なる価値を示す必要があるかもしれません。この文脈では、主な目標は違いを管理し、共同体の生活で生産的な協力を可能にすることです。したがって、エージェントは寛容さ、礼儀正しさ、尊重といった民主的な価値を前面に出す必要があります [5]。

さらに、これらの価値観がなぜ言語モデルによる有害な発言や偏見のある発言が問題とされるのかを説明します。問題のある言語は、会話参加者への等しい尊重を伝えることができず、これはモデルが展開されるコンテキストにおける重要な価値観です。同時に、科学的な徳、例えば経験データの包括的な提示は、公共の審議の文脈ではそれほど重要ではないかもしれません。

最後に、創造的なストーリーテリングの領域では、コミュニケーションの交換は新奇さと独創性を目指しており、これは上記で説明した価値観と大きく異なります。この文脈では、空想に対してはより大きな自由度が許容されるかもしれませんが、「創造的な使用」の名目で生成された悪意あるコンテンツからコミュニティを守ることは重要です。

今後の展望

この研究は、調整された会話型AIエージェントの開発に多くの実用的な示唆をもたらします。まず、展開されるコンテキストに応じて、エージェントは異なる特性を具体化する必要があります。言語モデルの調整には一つの決まりきったアカウントはありません。代わりに、エージェントの適切なモードと評価基準（真実性の基準を含む）は、会話のコンテキストと目的に応じて異なるでしょう。

さらに、会話エージェントは、「コンテキストの構築と明示化」というプロセスを通じて、時間の経過とともにより強固で尊重に満ちた会話を育む可能性も持っています。ある会話の実践を支配する価値観について人間が気づいていなくても、エージェントは会話中にそれらの価値観を予め提示することにより、人間スピーカーにとってコミュニケーションの進行をより深く有益なものにすることができるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!