Google AI Researchは、大規模言語モデル(LLM)を使用した個別のテキスト生成の一般的なアプローチを提案しています

Google AI Researchは、大規模言語モデル(LLM)を使用したテキスト生成の一般的なアプローチを提案しています

AIを利用したコンテンツ生成を容易にするためにAIベースの技術が台頭してきたことで、個別のテキスト生成が注目されています。特定の対象読者、創作文脈、情報ニーズに適した生成システムを作成するためには、ユーザーが既に書いた文書などの追加の文脈も考慮に入れた個別の応答ができる必要があります。

研究者たちは、レビュー、チャットボット、ソーシャルメディアなどのさまざまな状況でのカスタマイズされたテキストの作成に取り組んできました。既存の多くの研究は、タスクに特化したモデルを提案し、ドメイン固有の特徴や情報に依存しています。どのようにしてどの状況でも使用できる汎用的な戦略を作成するかという問題にはあまり注目されていません。大規模言語モデル(LLM)は、ChatGPT1やBard2などのチャットボットを通じて特にテキスト生成のタスクで注目を集めています。しかし、LLMにそのような機能を持たせる方法については、ほとんど研究が行われていません。

最近のGoogleの研究では、豊富な言語リソースを活用してユニークなコンテンツを生成するための汎用的な手法を提案しています。彼らの研究は、外部ソースを利用した執筆プロセスをより小さなステップに分解する一般的な執筆指示の方法に触発されています。具体的には、研究、ソース評価、要約、統合のような手順に分割しています。

個別のテキスト生成のためにLLMを訓練するため、チームは同様のアプローチを取り、検索、ランキング、要約、合成、生成などのマルチステージマルチタスク構造を採用しています。具体的には、現在のドキュメントのタイトルと最初の行から質問を作成し、ユーザーが以前に書いた文書などの個人的な文脈のセカンダリリポジトリから関連情報を取得します。

次に、関連性と重要性に基づいてランク付けした結果を要約します。検索と要約に加えて、取得した情報をキーエレメントに統合し、それを大規模言語モデルに入力して新しいドキュメントを生成します。

言語教育の分野では、読むことと書くことのスキルは共に発展するという共通の観察があります。さらに、研究によると、読書能力のレベルと量は、著者の認識活動によって測定でき、読解力と相関しています。これらの2つの結果から、研究者たちは、大規模言語モデルに特定のテキストの著者を識別する補助的なタスクを追加することで、読解能力を向上させることを目指したマルチタスキング環境を作成しました。この挑戦をモデルに与えることで、提供されたテキストをより正確に解釈し、より魅力的で個別化された文章を生成できると期待しています。

チームは、電子メールのやり取り、ソーシャルメディアの議論、製品レビューからなる3つの公開データセットを使用して、提案されたモデルの性能を評価しました。マルチステージマルチタスクフレームワークは、すべての3つのデータセットでいくつかの基準モデルに比べて大幅な改善が見られました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「インフレクションは、世界で最高のAIモデルであり、そのクラスのコンピューティングでは世界で2番目に能力のあるLLMです」

Inflection AIは、最高のLarge Language Modelを開発しました。同社のモデルであるInflection-2は、オープンAIの最新作品に続...

人工知能

「AIレポート2023年」を解説する

アニュアルAIレポートは、人工知能の急速に進化する領域での明確さと方向性を提供する重要な基準として機能しますその包括的...

データサイエンス

「埋め込みモデルでコーパス内の意味関係を探索する」

最近、私はいくつかの仲間の学生や学者と話をしてきましたが、彼らは自由形式のテキストの分析に関心を持っていました残念な...

データサイエンス

「リコメンデーションシステムにおける2つのタワーネットワークとネガティブサンプリング」

現在の推薦システムにおける最も重要なモデルの一つは、2つのタワーニューラルネットワークですこのモデルは次のような構造を...

AI研究

コーネル大学の研究者たちは、不連続処理を伴う量子化(QuIP)を導入しましたこれは、量子化が不連続な重みとヘシアン行列から利益を得るという洞察に基づく新しいAIの手法です

大規模言語モデル(LLM)によって、テキスト作成、フューショット学習、推論、タンパク質配列モデリングなどの領域で改善が可...

データサイエンス

WhatsAppチャットで言語モデルを構築しましょう

チャットボットは、デジタルプラットフォームとのやり取りを確実に変えてきました高度な言語モデルの能力の向上にもかかわら...