Search Results GLUE

モデルアーキテクチャのための生成AIに向けて

「Attention is All You Need」というトランスフォーマー革命は、深層学習モデルのアーキテクチャの設計に深い影響を与えましたBERTが登場して間もなく、RoBERTa、ALBERT、DistilBERTが続きました...

「Amazon CodeWhispererで持続可能性を最適化しましょう」

この投稿では、Amazon CodeWhispererが、リソース効率を高めることを通じたコードの最適化にどのように役立つかについて探っています計算リソースの効率的なコーディングは、1行のコードを処理するために必要なエネルギー量を減らすことを目指す技術の一つであり、結果として企業が総合的により少ないエネルギーを消費できるように支援しますクラウドコンピューティングの時代において[…]

「2024年に注目すべきトップ10のソフトウェアアウトソーシング企業」

2024年のトップ10ソフトウェア委託革新者を探索し、ソフトウェア開発の成長と変革を推進してください

Tech

中国の研究者たちは、RetriKTと呼ばれる新しい圧縮パラダイムを導入しました：大規模な事前学習済み言語モデルの実世界アプリケーションへの展開を革命化するものです

自然言語処理（NLP）のアプリケーションでは、事前学習済み言語モデル（PLMs）であるBERT/RoBERTaを含む、卓越したパフォーマンスが示されています。ただし、これらのモデルは非常に複雑であり、一般的には数億のパラメータを持っているため、研究者にとっては大きな困難をもたらします。そのため、大規模な事前学習済み言語モデル（PLMs）はまだ完全なポテンシャルを発揮していません。重み共有、量子化、ネットワークの剪定、知識の蒸留など、多くのモデル圧縮戦略が提案されていますが、知識蒸留のような大きな圧縮率が必要な状況は、これらのモデル圧縮技術には直接関連していません。支援モデルを追加すると、しばしばより悪化し、不安定なパフォーマンスが生じることがあります。大規模言語モデル（LLMs）は、言語に高いスキルを持っており、さまざまな下流活動に利用することができるため、ますます人気が高まっています。そのため、この情報を小規模モデルに適用する方法を調査することは重要です。ただし、LLMsの圧縮率が非常に高いため、現在の方法ではこれらを圧縮することは適していません。以前の研究では、LLMsを小規模モデルに対して知識の転移やデータ拡張に利用することが提案され、後者は低リソースのデータセットでの性能向上を示しました。しかし、小規模モデルの制約されたパラメータサイズは、SuperGLUEベンチマークのようなより難しいタスクを引き受ける際に障害となり、LLMsが伝える情報を保持することがより容易になります。その結果、小規模モデルの性能向上はまだ改善される必要があります。北京大学、美団、メタAI、国家汎人工知能研究センター（BIGAI）、中国人民大学の研究者らは、Retrieval-based information transmission（RetriKT）と呼ばれる革新的な圧縮パラダイムを提案しています。このパラダイムは、大規模言語モデル（LLMs）の情報を効率的かつ正確に小規模モデルに伝達することを目指しています。彼らの方法は主に2つのステップで構成されています。まず、LLMから知識を抽出して知識ストアを作成し、その後、小規模モデルは知識ストアから関連する情報を取得してタスクを完了します。より正確に言うと、LLMがドメイン内のサンプルを生成するように調整するために、ソフトプロンプトチューニングの方法を使用します。また、生成品質を改善するために、Proximal Policy Optimization（PPO）強化学習技術を提供します。最後に、小規模モデルは知識ストアから関連データを取得する能力を獲得します。彼らはSuperGLUEベンチマークとGLUEベンチマークからの本当に困難で低リソースのタスクに対して包括的なテストを行っています。実験結果は、LLMsの情報を利用することで、RetriKTが小規模モデルの性能を大幅に改善し、以前の最先端の知識蒸留手法を上回ることを示しています。これは、厳しいモデル圧縮のための情報検索ベースの知識転移パラダイムが実用的で成功していることを示唆しています。以下は、彼らの貢献の要約です：・彼らが提案する新しい圧縮パラダイムであるRetrieval-based information transmissionは、LLMsから信じられないほど小規模なモデルに情報を伝達しようとするものです。・生成品質を改善するために、彼らは慎重にインセンティブ関数を構築し、強化学習アルゴリズムであるPPOを提案しています。このパラダイムは、モデルサイズの大きな違いによる極端なモデル圧縮の問題に取り組んでいます。・彼らはSuperGLUEベンチマークとGLUEベンチマークからの低リソースタスクで包括的なテストを行い、LLMsから収集された知識の正確さと多様性を向上させます。その結果、LLMsの情報を利用することで、RetriKTは小規模モデルの性能を大幅に向上させ、以前の最先端の知識蒸留手法を上回ります。

このAIニュースレターは、あなたが必要とするすべてです＃71

今週、ジョー・バイデン大統領は人工知能の規制を再び注目させるために、人工知能の監督を目的とする行政命令に署名しましたこの指令は様々な政府機関に要請し、…

「2023年に使用するためのトップ9のデータ管理ツール」

イントロダクションストレージ、管理、データアクセスの問題により、ビジネスデータベースの拡張に苦労していますか？成長を促進するためには、効果的なデータ管理戦略とツールを利用してください。この記事では、データ管理の主要なツールの特徴を探求し、2023年のトップツールをリストアップしています。これらのツールは、企業のワークフローパイプラインにとって貴重な資産となります。なぜデータ管理ツールを使用するのか？データ管理ツールは、現代のビジネスにおいて重要な存在です。これらのツールは、データの品質を保証し、業務効率を向上させ、データ関連の手続きを簡素化します。データガバナンスのための堅固な構造を簡略化することは、リスク管理やコンプライアンスに役立ちます。現代のデータ駆動環境では、これらのテクノロジーはスケーラブルであり、企業が取り扱うデータ量の増加に適応できることを意味します。トップ9のデータ管理ツールデータ管理ツールの目的についてご理解いただいたところで、いくつかの優れたツールをご紹介しましょう。 2023年のトップ9のデータ管理ツールを選定する際には、専門家の意見と業界内での人気と評判を考慮しました。これらのツールはデータ統合、品質、ガバナンスなど、データ管理のさまざまな側面での効果において認められています。以下に、各ツールの選定基準をまとめた表があります。データ管理ツール選定基準 Oracle Enterprise Data Management Cloud – クラウドベースのソリューション– 拡張されたデータ制御とコラボレーション– データ管理のリーダーとして認識されている– 総合的なデータ管理機能のスイート– データ統合、データ品質、データガバナンスの強みがある AWS – ETLのためのAWS Glue–…

大きな言語モデル：TinyBERT – 自然言語処理のためのBERT蒸留

最近、大規模言語モデルの進化が急速に進んでいますBERTは最も人気のある効率的なモデルの1つとなり、高い精度でさまざまなNLPタスクを解決することができるようになりましたその後...

「マスク言語モデリングタスクのBERTトレーニング方法」

「最近、大規模言語モデル（LLM）は、機械学習コミュニティ全体の注目を浴びていますLLMが登場する前には、さまざまな言語モデリングに関する重要な研究フェーズがありました...」

文法AIの向上にBERTを活用する：スロット埋め込みの力

イントロダクション会話型AI時代において、チャットボットや仮想アシスタントは普及し、私たちがテクノロジーとの対話を革新しています。これらのインテリジェントシステムはユーザーのクエリを理解し、関連する情報を提供し、さまざまなタスクを支援することができます。しかし、正確かつコンテキストに沿った応答を実現することは複雑な課題です。このプロセスを支援する重要なコンポーネントの一つがスロットの補完です。そして、BERT（Bidirectional Encoder Representations from Transformers）の登場により、その効果が大きく向上しました。この記事では、スロット補完アプリケーションにおけるBERTの役割と実装について探求し、会話型AIシステムの向上にどのように貢献するかを明らかにしていきます。学習目標会話型AIにおけるスロット補完の概念と重要性を理解する。 BERTがコンテキスト理解を活かしてスロット補完をどのように向上させるか、データの準備からファインチューニングまでの手順を学ぶ。 BERTを会話型AIに利用するメリットを知ることで、ユーザーの意図認識が向上する。この記事はData Science Blogathonの一環として公開されました。スロット補完とはスロット補完はタスク指向の会話システムにおいて重要なタスクです。ユーザーのクエリからスロットとして知られる特定の情報を抽出することです。例えば、フライト予約のシナリオでは出発都市、目的地、日付、クラスなどがスロットとなります。抽出したスロットの値は適切な応答を生成し、ユーザーの要求を効果的に実現するために使用されます。正確なスロット補完はユーザーの意図を理解し、個別化された関連する応答を提供するために重要です。スロット補完におけるBERTの力 BERTは豊富なテキストデータを前提にした文脈理解に優れており、スロット補完アプリケーションに自然な適合性があります。BERTの能力を活用することで、会話型AIシステムはスロット抽出の精度を大幅に向上させ、全体的なパフォーマンスを高めることができます。 BERTがスロット補完を向上させる方法は以下の通りです：文脈化された表現： BERTは入力シーケンス全体から文脈情報を捉え、単語やフレーズの関係性を理解することができます。この文脈理解により、スロットの境界を特定し、異なる文脈での類似した単語やフレーズを区別することができます。曖昧さ解消：ユーザーのクエリには曖昧な表現や省略形が含まれることがあり、それらを解消する必要があります。BERTは文脈の微妙なニュアンスを把握する能力があり、これにより正確なスロット値の抽出が可能になります。未知語処理： BERTの語彙には多くの単語が含まれていますが、未知語が出現する可能性もあります。しかし、BERTのサブワードトークン化アプローチにより、未知語をより小さなサブワード単位に分割し、サブワード埋め込みを使用して表現することができます。…

テキストをベクトルに変換する：TSDAEによる強化埋め込みの非教示アプローチ

TSDAEの事前学習を対象ドメインで行い、汎用コーパスでの教師付き微調整と組み合わせることで、特化ドメインの埋め込みの品質を向上させる埋め込みはテキストをエンコードする...

Learn more about Search Results GLUE - Page 3