マンチェスター大学の研究者たちは、MentalLLaMAを導入しましたこれは、読みやすい精神健康分析のためのオープンソースLLMシリーズで、指導に従う能力を持っています

マンチェスター大学の研究者たちは、読みやすさと精神健康分析のためのオープンソースLLMシリーズ、MentalLLaMAの導入に成功しました

PTSDとその他の精神的健康問題は、グローバルに公衆衛生に影響を与えています。社会的な偏見のため、多くの人々は素早く精神科の援助を求めませんが、これには壊滅的な影響があります。オンライン技術の進歩により、ソーシャルメディアは人々の日常生活に浸透しています。ソーシャルメディアのテキストは、多くの精神的健康障害を抱えた人々がネガティブな感情を伝え、ストレスを表現するためにTwitterやRedditなどのサイトを利用するため、精神的健康分析の優れた情報源です。しかしながら、ソーシャルメディアのメッセージの急増により、ポストの手動分析は実現不可能です。そのため、多数の研究が自然言語処理（NLP）手法を使用して、ソーシャルメディアを精神的健康について自動的に分析しています。

精神的健康に関する自然言語処理（NLP）の従来のアプローチでは、精神的健康のソーシャルメディア分析をテキスト分類の問題としてモデル化し、識別的なドメイン固有の事前学習済み言語モデル（PLM）が最先端のパフォーマンスを達成しました。その主な欠点の1つは、これらのアルゴリズムが解釈可能性が少なく、ブラックボックス的な予測結果を提供することであり、実際の使用時の信頼性を著しく低下させています。最新の大規模言語モデル（LLM）であるChatGPT2やLLaMAを含む効果的な精神的健康疾患の同定と、Chain-of-Thought（CoT）アプローチを使用したその選択の詳細な説明の評価も最近行われました。また、人間のテストも実施し、ChatGPTが正しい分類の説明を人間と同等のものとして提供できることを示し、精神的健康分析の可読性の向上の可能性を示しました。

しかし、ChatGPTは現在、ゼロショットまたはフューショット学習環境で最先端の教師ありアルゴリズムのパフォーマンスには及びません。実際の状況での応用に制約を与えます。実用的な方法は、限られたデータで基盤のLLMを対象ドメインと整列させることにより、それらを微調整することです。理解可能な精神的健康分析のためのLLMの開発には、2つの主要な障壁があります。まず、LLMを最適化するために、良いトレーニングデータが必要です。ソーシャルメディア上の精神的健康の調査に関するいくつかのデータセットは、短い抽出のみを含みますが、検出結果に対する徹底した信頼性と正当性を提供するオープンソースのデータはまだ存在しません。繊細な研究対象と専門家によって書かれた説明の高い費用が、これらの主な原因です。

• MITによる新しい機械学習の研究は、大規模言語モデル（LLM）が空間と時間の概念を理解し表現する方法を示しています
• 「エアガーディアンと出会ってください：目の追跡技術を使用して、MITの研究者たちが開発した人間のパイロットがどこを見ているかを追跡する人工知能システム」
• UC BerkeleyとUCSFの研究者が神経ビデオ生成を革新します： 高度な空時的ダイナミクスのためのLLM-Groundedビデオ拡散（LVD）の紹介

次に、利用可能なインタープリタブルな精神的健康分析のオープンソースLLMはほんの一部しか存在しません。ただし、ChatGPTなどのクローズドソースのLLMを促進または微調整することは非常に高価です。高いコストとリソースの不足により、関連する研究コミュニティの成長を改善する必要があります。彼らは、これらのギャップを埋めるために、105,000件のデータサンプルを備えた初めてのマルチタスクおよびマルチソースの理解可能な精神的健康指導（IMHI）データセットを作成しました。まず、8つのタスクをカバーする10の既存のソースからトレーニングデータを収集しています。これらのタスクには、バイナリの精神的健康検出タスク、マルチクラスの精神的健康検出タスク、精神的健康原因/要因検出タスク、および精神的リスクとウェルネス要因検出タスクが含まれています。

図1は、MentalLLaMAのパフォーマンスの一部を示し、精神的健康分析を含んでいます。また、MentalLLaMAのトレーニングデータと基礎モデルを要約しています。

データには、ソーシャルメディアの投稿とそれに付随するラベルが含まれています。第二に、各ラベルには注釈付きで詳細な正当化が付けられます。専門家によって作成されたフューショットの質問と収集されたラベルを使用して、ChatGPTをインスパイアし、その返信から説明を引き出します。セルフインストラクトの成功から着想を得ています。すべての取得データに自動評価を行い、説明の品質を保証します。これらの評価では、予測の正確性、ラベルと説明の対応、および説明の総合的な品質を評価します。さらに、専門家による注意事項戦略で、一部の収集データに対して人間の評価も実施します。

第三に、彼らはルールベースのアプローチを利用して、収集されたすべてのソーシャルメディアの投稿、ラベル、説明を命令ベースのクエリ-回答ペアに変換します。これらは、IMHIデータセットのトレーニングデータと評価ベンチマークの作成に使用されます。マンチェスター大学の研究者は、IMHIデータセットに基づいた解釈可能なメンタルヘルス分析のためのオープンソースLLMシリーズであるMentalLLaMAを紹介しています。LLLaMA2の基礎モデルは、MentalLLaMAモデルのトレーニングの基礎として機能します。具体的には、MentalLLaMA-7B、MentalLLaMA-chat-7B、およびMentalLLaMA-chat-13Bモデルを微調整しています。図1は、MentalLLaMAの優れた性能のいくつかのインスタンスを表示しています。

さらに、彼らはMentalLLaMAモデルがIMHI評価基準に対してどれだけ優れているかを徹底的に評価しています。彼らは、分類結果を最先端の識別テクニックと他の生成言語モデルと比較することで、MentalLLaMAの予測精度を評価しています。研究結果によると、MentalLLaMA-chat-13Bは、テストセットの10個中7個で、最先端のレベルと同等かそれ以上の正確性を発揮します。生成される説明の質も評価しています。結果は、命令の調整、人間のフィードバックからの強化学習（RLHF）、およびモデルの拡大により、説明の品質が向上することを示しています。

彼らは、ソーシャルメディア上の解釈可能なメンタルヘルス分析のための最初のマルチタスクおよびマルチソースの命令調整データセットであるInterpretable Mental Health Instruction（IMHI）データセットを作成しました。 • 彼らは、メンタルヘルスの理解可能な分析を行うためにオープンソースの最初の命令従順の大規模言語モデルであるMentalLLaMAを提案しています。MentalLLaMAはソーシャルメディアデータを使用して心理の分析を行うことができ、その結論に納得のいく根拠を提示することができます。 • 8つのタスクと10のテストセットを含む19Kのテストサンプルで、理解可能なメンタルヘルス分析のための最初の包括的な評価基準を提示しています。このベンチマークでは、現在使用されている技術とMentalLLaMAを比較しています。結果と分析から、MentalLLaMAが優れていることが示されており、将来の研究は理解可能なメンタルヘルス分析のためのLLMの改善に焦点を当てる予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!