Search Results ML

「Transformerの簡略化：あなたが理解する言葉を使った最先端のNLP — part 3 — アテンション」

「トランスフォーマーは、AIの分野で、おそらく世界中で重大な影響を与えていますこのアーキテクチャはいくつかのコンポーネントで構成されていますが、元の論文は「Attention is All You...」という名前です」

「非構造化データ内のデータスライスの検出」翻訳結果は以下の通りです：「非構造化データ内でデータスライスを見つける」

データスライスは、モデルが異常な動作をするデータの意味のあるサブセットです非構造化データの問題（例：画像、テキスト）に取り組む際に、これらのスライスを見つけることは...

AWSインフラストラクチャを手動で作成するのをやめましょうTerraformを使用しましょう！

「Terraformを使用したインフラストラクチャとしてのコード（IaC）ツールのチュートリアルAWSの本番用インフラストラクチャ（EC2、ネットワーク、セキュリティグループ）の構築方法について解説します」

Google AIが教育環境でのオーディオブックに対するソーシャル意識を持つ時間的因果関係を考慮したレコメンダーシステム「STUDY」を紹介します

読書は、言語能力や生活スキルの向上から感情の健康に至るまで、若い学生に大きな利益をもたらします。読書の楽しみと学業の成功との相関関係はよく知られています。さらに、読書は一般知識を広げ、多様な文化を理解することにも役立ちます。現在の世界では、オンラインとオフラインの両方において豊富な読書資料があり、適切な年齢に合った魅力的なコンテンツへの学生の誘導は重要な課題です。効果的な推薦は、学生の読書への関心を持続させる上で重要な役割を果たします。ここで、機械学習（ML）が援助を提供する場面が登場します。機械学習と推薦システム MLは、さまざまなデジタルプラットフォームでの推薦システムの開発を革新しました。これらのシステムはデータを活用してユーザーに関連するコンテンツを提案し、ユーザーの全体的な体験を向上させます。MLモデルは、ユーザーの好み、関与度、および推薦されたアイテムを分析することにより、個別のコンテンツの提案を行います。教育支援の非営利団体であるLearning Allyとの共同研究により、GoogleはSTUDYアルゴリズムを開発しました。このアルゴリズムは、オーディオブックに焦点を当てたユニークなコンテンツ推薦システムです。Learning Allyは、購読プログラムを通じて学生にオーディオブックを提供し、彼らの読書体験を向上させています。STUDYアルゴリズムは、読書の社会的側面を考慮に入れることで、仲間が読んでいる内容を考慮します。アルゴリズムは、同じ教室内の学生の読書関与履歴を処理し、推薦が地域の社会的グループ内の現在のトレンドと一致していることを保証します。データとモデルのアーキテクチャ Learning Allyが提供するデータセットには、学生とオーディオブックの相互作用を含む匿名化されたオーディオブックの利用データが含まれています。データは学生の身元と学校の保護のために細心の注意を払って匿名化されています。Googleの研究者は、STUDYアルゴリズムをクリックスルー率の予測問題として効果的なモデルを作成するために設計しました。アルゴリズムは、ユーザーの特性、アイテムの特徴、および過去の相互作用のシーケンスに基づいて、特定のオーディオブックへのユーザーの相互作用を予測するため、オーディオブックの消費の時間的性質を組み込んでいます。 STUDYモデルのユニークな側面 STUDYアルゴリズムの革新性は、ユーザーのオーディオブックとの相互作用の時間的依存関係を組み込んでいる点にあります。個々のユーザーシーケンスで動作する従来の推薦システムとは異なり、STUDYは同じ教室の学生から複数のシーケンスを結合します。ただし、このユニークなアプローチでは、トランスフォーマーベースのモデル内で注意マスクを注意深く処理する必要があります。タイムスタンプに基づいた柔軟な注意マスクが導入され、モデルがさまざまなユーザーシーケンスに注意を向けることができるようになります。実験結果 STUDYアルゴリズムの有効性は、実世界のオーディオブックの利用データを使用していくつかのベースラインモデルと比較して評価されました。評価指標は、上位n個の提案内で正確な推薦の割合を測定することに焦点を当てました。結果は一貫して、STUDYが他のモデルよりも優れたパフォーマンスを示し、ターゲットに合った推薦を提供する能力を示しています。グループ化の重要性 STUDYアルゴリズムの核心には、学校と学年レベルに基づいて学生をグループ化する戦略があります。切り離し研究によれば、より地域に密着したグループ化がモデルのパフォーマンス向上につながることが明らかになりました。これは、仲間の好みが読書の選択に影響を与える読書の社会的性質が適切なグループ化戦略を通じて効果的に捉えられていることを示しています。今後の展望この研究の成功は同質的な社会的つながりのモデリングにあるものの、異なる関係ダイナミクスや影響力の強さが異なるユーザーポピュレーションに拡張する可能性があります。このような拡張は、より正確かつ効果的なコンテンツの推薦に向けた約束を持っています。要するに、STUDYアルゴリズムは機械学習と教育の強力な交差点を示しており、学生の読書の好みの社会的ダイナミクスを反映した、特定の読書体験を提供することができます。技術の進歩に伴い、STUDYのようなモデルがより個別化された、魅力的で有益な教育体験の道を切り拓いています。

Google DeepMindの研究者は、機能を維持しながら、トランスフォーマーベースのニューラルネットワークのサイズを段階的に増やすための6つの組み合わせ可能な変換を提案しています

最近、トランスフォーマベースのニューラルネットワークは注目を集めています。トランスフォーマーアーキテクチャ（図1参照）は、機械翻訳、テキスト生成、質問応答など、自然言語処理の活動の中で業界標準として浮上しました。トランスフォーマベースのモデルの効果はNLPに制限されません。音声認識、コンピュータビジョン、レコメンデーションシステムなど、他のいくつかの分野でも成功を収めています。言語、ビジョン、マルチモーダルの基礎モデルは、数十億から数兆のパラメータを持つこれらのモデルの中で最も複雑で効果的です。ただし、新しいモデルは通常、以前に学習した小さなモデルのスキルを活用せずに最初から教えられます。さらに、モデルのサイズはトレーニング中も一貫して維持されます。トレーニングに必要なトレーニングデータの量の増加により、モデルサイズの計算コストは二次的に増加します。事前学習モデルのパラメータを再利用するか、トレーニング中にモデルのサイズを動的に増やすことで、トレーニングの総コストを削減することができます。ただし、トレーニングの進捗を犠牲にすることなくこれを行うことは容易ではありません。これらの制限を解決するために、トランスフォーマベースのモデルには、機能保存パラメータ拡張変換が提供されています。これらの変換は、モデルのサイズを増やし、その機能を変えずにモデルの潜在的な容量を増やすため、トレーニングを継続できます。これらの組み合わせ可能な変換は、アーキテクチャの独立した次元で動作し、細粒度なアーキテクチャの拡張を可能にします。以前の研究では、小さな畳み込みモデルや密なモデルのための技術を拡張したトランスフォーマベースのモデルのための機能保存パラメータ拡張変換も提案されています。図1は、トランスフォーマーデザインに基づく典型的なニューラルネットワークの様子を示しています。この研究では、Google DeepMindとトゥールーズ大学の研究者が、トランスフォーマアーキテクチャに適用される機能保存変換の最も包括的でモジュラーなコレクションを開発しました。この論文の6つの貢献は、トランスフォーマーアーキテクチャに適用される6つの組み合わせ可能な機能保存変換です。以下に示します。 MLP内部表現のサイズアテンションヘッドの数アテンションヘッドの出力表現のサイズアテンション入力表現のサイズトランスフォーマーレイヤーの入力/出力表現のサイズレイヤーの数著者たちは、各変換において追加パラメータの初期化に可能な制限を最小限に抑えながら、正確な機能保存性がどのように達成されるかを実証しています。これらの貢献については、論文で詳しく議論されています。