「NYUとMeta AIの研究者は、ユーザーと展開されたモデルの間の自然な対話から学習し、追加の注釈なしで社会的な対話エージェントの改善を研究しています」

NYUとMeta AIの研究者は、自然な対話から学習し、注釈なしで対話エージェントの改善を研究しています

ヒューマンインプットは、社会的な対話モデルを改善するための重要な戦術です。ヒューマンフィードバックを用いた強化学習では、満足な報酬関数を保証するために多くのヒューマンアノテーションが必要とされており、フィードバックからの学習には非常な改善が見られています。フィードバックの源は、対話ターンや対話エピソードについてのユーザーからの数値スコア、ランキング、自然言語のコメント、およびボットターンのバイナリ評価などが含まれます。ほとんどの研究では、これらの信号をクラウドワーカーを利用して意図的に収集しています。なぜなら、一般のユーザーはそうすることを避けたいか、もしそうする場合には正確な情報を提供しないかもしれないからです。

この研究では、ニューヨーク大学とMeta AIの研究者が、モデルと有機的なユーザー間の実際の議論を特徴とする多くの展開時対話エピソードを持っている状況を考慮しています。彼らは、これらの自然なユーザーの議論から何らかの暗黙の指示を得ることができ、それらの信号を対話モデルの向上に利用することができるかどうかを調査しようとしています。これには2つの理由があります。まず第一に、彼らは明示的な注釈を提供しないかもしれませんが、有機的なユーザーは将来の展開のためのデータ分布に最も近いです。第二に、対話の以前のエピソードからの暗黙の信号を使用することで、クラウドソーシングに費やされるお金を節約することができます。

より具体的には、彼らはチャットボットを調整して、将来のヒューマンの回答の数量、長さ、感情、または反応性などの最適な暗黙のフィードバック信号を使用することができるかどうかを検討しています。彼らは、この問題を調査するためにBlenderBotのオンライン展開から公開された匿名化されたデータを使用しています。このデータを使用して、彼らはサンプルモデルと再ランクモデルをトレーニングし、さまざまな暗黙のフィードバック信号を比較します。彼らの新しいモデルは、自動化された評価と人間の判断の両方を通じて、ベースラインの返信よりも優れていると発見されました。さらに、彼らの暗黙のフィードバック信号が世代の品質の粗いプロキシ指標であるため、これらの指標をサポートすることが望ましくない行動を引き起こすかどうかを尋ねています。

• 中国からの新しいAI研究が提案するSHIP：既存のファインチューニング手法を改善するためのプラグアンドプレイの生成AIアプローチ
• ETHチューリッヒの研究者たちは、LMQLという言語モデルとの相互作用のためのプログラミング言語を紹介しました
• 「Google DeepMindと東京大学の研究者が、WebAgentを紹介：自然言語の指示に従って実際のウェブサイト上のタスクを完了できるLLM-Drivenエージェント」

はい、使用される信号によります。特に、議論の長さを最適化すると、モデルが論争的な意見を提供したり、敵意を持ったり攻撃的な態度で返答する可能性があります。一方、好意的な応答やムードを最適化すると、これらの行動がベースラインに比べて減少します。ヒューマンからの暗黙のフィードバックは、全体的なパフォーマンスを向上させることができる有益なトレーニング信号であると結論づけられますが、具体的な手法には重要な行動的な影響があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!