「自己修正手法を通じて、大規模言語モデル（LLM）の強化」

Enhancing Large Language Models (LLM) through self-correcting techniques.

大規模言語モデル（LLM）は、近年、さまざまな自然言語処理（NLP）、自然言語理解（NLU）、自然言語生成（NLG）のタスクで驚くべき結果を達成してきました。これらの成功は、さまざまなベンチマークで一貫して文書化されており、これらのモデルは言語理解の能力において印象的な実績を示しています。推論から望ましくない不一致な行動の強調まで、LLMは大きな進歩を遂げています。LLMは大きく進化しましたが、偽のがしかしも可能性がある情報の作成、誤った論理の使用、有害または損害を与える出力の作成など、依然として利用価値を損なう不適切で一貫性のない行動があります。 

これらの制約に対処するための1つのアプローチは、自己修正のアイデアです。LLMは、自己生成情報の問題を修正するように促されたりガイドされたりします。最近、LLM自体からまたは他のシステムから得られる自動フィードバック機構を利用する方法には、多くの関心が寄せられています。これらの技術は、人間のフィードバックに依存を減らすことにより、LLMベースのソリューションの実現可能性と有用性を向上させる可能性があります。 

自己修正アプローチにより、モデルは自動生成されたフィードバック信号から反復的に学習し、その行動の効果を理解し、必要に応じて行動を変えることができます。自動フィードバックは、LLM自体、トレーニングされた独立したフィードバックモデル、外部ツール、Wikipediaやインターネットなどの外部情報源など、さまざまなソースから得ることができます。LLMを自動フィードバックによって修正するために、セルフトレーニング、生成してランク付け、フィードバックによるデコーディング、反復的な事後修正など、さまざまな技術が開発されています。これらの方法は、推論、コード生成、毒素検出など、さまざまなタスクで成功しています。

• 「生成AIプロジェクトライフサイクル」
• 「目と耳を持つChatGPT：BuboGPTは、マルチモーダルLLMsにおいて視覚的なグラウンディングを可能にするAIアプローチです」
• 「7/8から13/8までの週のトップ重要なコンピュータビジョン」

カリフォルニア大学サンタバーバラ校の最新の研究論文は、この新興のアプローチグループの包括的な分析に焦点を当てています。チームは、これらの戦術を利用した多数の現代の研究プロジェクトを徹底的に調査し分類しました。訓練時の修正、生成時の修正、事後修正の3つの主要なセルフ修正技術のカテゴリが調査されました。モデルの訓練フェーズ全体で入力にさらされることにより、訓練時の修正が向上されました。

チームは、これらの自己修正技術が成功しているさまざまな設定を強調しています。これらのプログラムは、推論、コード生成、毒性検出など、さまざまなトピックをカバーしています。この論文は、これらの技術の実用的な意義と、これらの技術の広範な影響を提供することで、さまざまな文脈での適用の可能性について洞察を提供しています。

チームは、生成時の修正は、コンテンツ生成プロセス中のリアルタイムのフィードバック信号に基づいて出力を洗練することを意味します。事後修正は、すでに生成されたコンテンツを後続のフィードバックを使用して修正することを含みます。したがって、この分類は、これらの技術がどのように操作され、LLMの動作の改善にどのように貢献するかを理解するのに役立ちます。セルフ修正手順の発展には改善と成長の機会があり、これらの問題に取り組み、これらのアプローチを改善することにより、フィールドはさらに進展するかもしれず、リアルワールドの状況でより一貫した振る舞いをするLLMとその応用を実現することができるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!