Amazon AlexaのAI研究者がQUADRoを発表:QAシステムの向上に向けた画期的なリソースで、440,000以上のアノテーション付きの例があります

『Amazon AlexaのAI研究者がQUADRoを発表:QAシステム向上の画期的なリソース、440,000以上のアノテーション付き例』

人工知能(AI)と機械学習(ML)の能力は、あらゆる可能な産業に進出することを成功裏に可能にしました。最近では、大規模言語モデル(LLM)と質問応答システムの導入により、AIコミュニティは大きな進歩を遂げています。事前計算されたデータベースから効率的に応答を取得することは、自動質問応答(QA)システムの開発における一般的なステップです。

主なQAパラダイムには、オープンブック型とクローズドブック型の2つがあります。オープンブック型、またはリトリーブアンドリード型は、適切な素材を大量の文書コーパス、頻繁にインターネットから取得する2つの手順を経て、異なるモデルや手法を適用して取得された素材から解決策を取り出す手法です。一方、クローズドブック型は最近の手法であり、外部のコーパスを利用せずにT5などのSeq2Seqモデルを基にしたモデルを訓練することで、結果を生成します。

クローズドブック技術は優れた結果を示しているものの、多くの産業アプリケーションに対してリソースが過剰であり、システムのパフォーマンスに重大なリスクをもたらす可能性があります。質問応答型データベース(DBQA)は、パラメータや大規模なコーパスの情報に頼るのではなく、事前生成された質問応答のデータベースから応答を取得する方法です。

これらのシステムの主要な部分は、質問と回答のデータベース、データベースのクエリに対する検索モデル、および最適な回答を選ぶランキングモデルです。DBQA技術により、迅速な推論と再学習モデルなしで新しいペアを追加できる能力が可能となり、新しい情報を導入することができます。

DBQA技術の課題の一つは、検索およびランキングモデルの開発における充分なトレーニングデータの不足です。既存のリソースはスコープと内容の面で不足しており、注釈プロセスの品質を向上させる必要があるものや、質問と質問の類似性に焦点を当て、回答を無視するものが多数存在しています。

これらの課題に対処するため、研究者チームは質問応答データベースの検索に関するデータセットとモデルであるQUADRoを提案しました。これは訓練と評価のために特別に作成された新しいオープンドメインの注釈リソースです。リポジトリの15,211の入力質問には、各質問に関連する30の質問応答ペアがあります。このコレクションには合計で443,000の注釈付きサンプルが含まれています。入力クエリに対する各ペアの重要性を示すバイナリインジケータがラベル付けされています。

研究チームはまた、このリソースの品質と特性をいくつかの重要なQAシステムコンポーネントに関して評価するための徹底した実験も行いました。これらの要素には、トレーニング方法、入力モデルの構成、および回答の関連性が含まれます。実験は、このデータセットで訓練されたモデルの挙動とパフォーマンスを検討することで、関連する応答を取り出すために提案された方法がどれだけうまく機能するかを示しました。

まとめると、この研究は、自動品質保証システムにおけるトレーニングとテストデータの不足を解決するために、有用なリソースを導入し、リソースの属性を慎重に評価することで、包括的な理解を支援しています。トレーニング戦略と回答の関連性のような重要な要素に重点を置くことで、評価が補完されます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

ハイパーヒューマンに会ってください:潜在的な構造拡散を用いたハイパーリアルな人間生成のための新しいAIフレームワーク

ユーザーが指定した条件(テキストやポーズなど)に基づいて超リアルな人間のイメージを生成することは、画像アニメーション...

機械学習

「Google AIがMetNet-3を導入:包括的なニューラルネットワークモデルで天気予報を革新する」

天気予報は気象研究の複雑で重要な側面ですが、将来の天気パターンの正確な予測は困難な試みとなっています。多様なデータソ...

機械学習

主要な金融グループは、AWSのポストコール分析ソリューションを使用して、オムニチャネルの顧客洞察を抽出しています

「事業140年以上の確立された金融サービス企業、プリンシパルは、グローバルな投資管理のリーダーであり、世界中で6,200万人...

AI研究

CMU(カーネギーメロン大学)と清華大学の研究者が提案した「Prompt2Model:自然言語の指示から展開可能なAIモデルを生成する汎用メソッド」

与えられた問題を解決するためにNLPモデルを構築したいと考えたとします。まず、タスクの範囲を定義し、その後、意図したシス...

機械学習

畳み込みニューラルネットワークの包括的なガイド

人工知能は、人間と機械の能力の差を埋めるために、膨大な成長を見ています研究者や熱狂的な支持者たちは、素晴らしいことを...

AI研究

中国の研究者グループが開発したWebGLM:汎用言語モデル(GLM)に基づくWeb強化型質問応答システム

大規模言語モデル(LLM)には、GPT-3、PaLM、OPT、BLOOM、GLM-130Bなどが含まれます。これらのモデルは、言語に関してコンピ...