「ChatGPTのような大規模言語モデルによる自己説明は感情分析にどれほど効果的か？パフォーマンス、コスト、解釈可能性に迫る深い探求」

「ChatGPTのような大規模言語モデルによる自己説明の効果的さは感情分析においてどれほど？パフォーマンス、コスト、解釈可能性を深く探求する」

言語モデル（GPT-3）は、データで学習したパターンに基づいてテキストを生成するため、中立であり感情を持ちません。トレーニングに使用されたデータにバイアスが含まれている場合、そのバイアスはモデルの出力に反映されることがあります。しかし、彼らの出力は、文脈と入力に基づいてポジティブ、ネガティブ、または中立として解釈することができます。センチメントを決定する際には、テキストの文脈が重要です。一つの文は、単独で考えるとネガティブかもしれませんが、テキスト全体の広い文脈で考えるとポジティブかもしれません。大きな言語モデルは周囲のテキストを考慮に入れますが、文脈を理解することは困難な場合もあります。

曖昧さ、皮肉、または混合した感情を持つテキストのセンチメント分析は困難です。大きな言語モデルは、そのような微妙なニュアンスを正しく解釈できない場合があります。センチメント分析の誤分類や誤用は、現実世界での結果を招く可能性があります。AIを責任を持って使用する際には、これらの影響を考慮することが重要です。UCサンタクルーズの研究者は、ChatGPTやGPT-4などのさまざまなモデルのセンチメンタルな振る舞いを分析しました。彼らはLLMの自己生成機能の特徴的行動を評価しました。

評価では、2つの生成方法を研究しました。予測の前に説明を生成する方法と、予測を生成してからそれを説明する方法を比較しました。両方の方法で、モデルに、重要度スコアを含む全ての単語の特徴割り当ての完全なリストを作成し、最も重要な単語のトップk個を返すように求めました。彼らはそれらを、解釈手法である遮蔽および局所的なモデルに依存しない説明と比較しました。これらの2つの技術は、複雑なモデルの予測を解釈および説明するために機械学習および深層学習で使用されます。

• ニューラルネットワークにおける系統的組み合わせ可能性の解除：組み合わせ可能性のためのメタラーニング（MLC）アプローチによるブレイクスルー
• 「ULTRAに会おう：あらゆるグラフで機能する事前学習済みの知識グラフ推論用基礎モデルで、50以上のグラフで教師あり最先端モデルを上回るパフォーマンスを発揮します」
• 「Amazon Bedrockへのプライベートアクセスを設定するために、AWS PrivateLinkを使用してください」

また、これらのモデルは入力特徴に基づいて評価する必要もあります。勾配操作、スムース勾配、および統合勾配などの代表的な方法を使用して、入力特徴値の微小な摂動に対するモデルの応答を評価する必要があります。研究者たちは、多様な入力と複数の特徴を同時に除去することで非線形の相互作用を捉え、特徴の重要度を線形回帰係数として定義し、評価しました。

誠実性の評価によれば、自己生成された説明は他のどの評価にも明確な優位性を持ちません。合意の評価によれば、非常に異なる結果があります。その結果、現在の説明よりも優れた説明が存在する可能性があり、新しい技術がそれを明らかにする必要があるかもしれません。

この考えの連鎖は、モデルの説明と見なすことができます。特に数学の問題解決などの複雑な推論タスクにおいて、最終的な回答の正確性に役立ちます。したがって、チームの将来の研究では、GPT-4、Bard、およびClaudeなどのLLMを評価します。これらのモデルが自分自身をどのように理解しているかを理解するため、比較的な研究を実施します。また、カウンターファクトな説明や概念ベースの説明に関する研究も行いたいと考えています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!