Google AI Researchは、大規模言語モデル（LLM）を使用した個別のテキスト生成の一般的なアプローチを提案しています

Google AI Researchは、大規模言語モデル（LLM）を使用したテキスト生成の一般的なアプローチを提案しています

AIを利用したコンテンツ生成を容易にするためにAIベースの技術が台頭してきたことで、個別のテキスト生成が注目されています。特定の対象読者、創作文脈、情報ニーズに適した生成システムを作成するためには、ユーザーが既に書いた文書などの追加の文脈も考慮に入れた個別の応答ができる必要があります。

研究者たちは、レビュー、チャットボット、ソーシャルメディアなどのさまざまな状況でのカスタマイズされたテキストの作成に取り組んできました。既存の多くの研究は、タスクに特化したモデルを提案し、ドメイン固有の特徴や情報に依存しています。どのようにしてどの状況でも使用できる汎用的な戦略を作成するかという問題にはあまり注目されていません。大規模言語モデル（LLM）は、ChatGPT1やBard2などのチャットボットを通じて特にテキスト生成のタスクで注目を集めています。しかし、LLMにそのような機能を持たせる方法については、ほとんど研究が行われていません。

最近のGoogleの研究では、豊富な言語リソースを活用してユニークなコンテンツを生成するための汎用的な手法を提案しています。彼らの研究は、外部ソースを利用した執筆プロセスをより小さなステップに分解する一般的な執筆指示の方法に触発されています。具体的には、研究、ソース評価、要約、統合のような手順に分割しています。

• NVIDIAの最高科学者、ビル・ダリー氏がHot Chipsで基調講演を行う
• コーネル大学の研究者たちは、不連続処理を伴う量子化（QuIP）を導入しましたこれは、量子化が不連続な重みとヘシアン行列から利益を得るという洞察に基づく新しいAIの手法です
• 「マイクロソフトの研究者がSpeechXを紹介：ゼロショットのTTSと様々な音声変換タスクに対応する多目的音声生成モデル」

個別のテキスト生成のためにLLMを訓練するため、チームは同様のアプローチを取り、検索、ランキング、要約、合成、生成などのマルチステージマルチタスク構造を採用しています。具体的には、現在のドキュメントのタイトルと最初の行から質問を作成し、ユーザーが以前に書いた文書などの個人的な文脈のセカンダリリポジトリから関連情報を取得します。

次に、関連性と重要性に基づいてランク付けした結果を要約します。検索と要約に加えて、取得した情報をキーエレメントに統合し、それを大規模言語モデルに入力して新しいドキュメントを生成します。

言語教育の分野では、読むことと書くことのスキルは共に発展するという共通の観察があります。さらに、研究によると、読書能力のレベルと量は、著者の認識活動によって測定でき、読解力と相関しています。これらの2つの結果から、研究者たちは、大規模言語モデルに特定のテキストの著者を識別する補助的なタスクを追加することで、読解能力を向上させることを目指したマルチタスキング環境を作成しました。この挑戦をモデルに与えることで、提供されたテキストをより正確に解釈し、より魅力的で個別化された文章を生成できると期待しています。

チームは、電子メールのやり取り、ソーシャルメディアの議論、製品レビューからなる3つの公開データセットを使用して、提案されたモデルの性能を評価しました。マルチステージマルチタスクフレームワークは、すべての3つのデータセットでいくつかの基準モデルに比べて大幅な改善が見られました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!