Search Results A

「失敗、試行、そして成功：負の二項分布の解説」

おそらく、あなたは二項分布について聞いたことがあるかもしれませんが、そのいとこである負の二項分布については聞いたことがありますか？この離散確率分布は、さまざまな産業で応用されています...

分類器のアンサンブル：投票分類器

アンサンブルという言葉は、機械学習の文脈では、同じタスクに対して訓練された有限な数の機械学習モデル（ANNを含む場合もあります）の集合を指します通常、モデルは独立して訓練され、その後...

最適なチャートを選ぶことで、洞察を最大化しましょう：ネットワーク、ヒートマップ、またはサンキーダイアグラム？

可視化はデータ分析の重要な部分であり、データを洞察に変え、ストーリーテリングをサポートすることができますこのブログ記事では、ネットワークチャート、ヒートマップ、サンキーダイアグラムに焦点を当てます…

「研究：社会的に意識した時間的因果関係デコーダー推薦システム」

エルタイエブ・アフメド（リサーチエンジニア）とサブラジット・ロイ（シニアリサーチサイエンティスト）によるGoogle Researchの投稿読書には、言語能力や生活スキルの向上など、若い学生に多くの利益があります。また、楽しみのための読書は学業の成功と相関することが示されています。さらに、学生は読書によって感情の幸福感が向上し、一般的な知識や他の文化の理解も向上すると報告しています。オンラインやオフラインの読み物が非常に多いため、適切な年齢層に合った関連性の高い興味を引くコンテンツを見つけることは難しい課題ですが、学生が読書に没頭するためには必要なステップです。関連性の高い読み物を効果的に推薦することは、学生の読書を継続させるのに役立ちます。これが機械学習（ML）が役立つ場所です。 MLは、動画から書籍、eコマース商品まで、さまざまな種類のデジタルコンテンツにおいて推薦システムの構築に広く使用されています。推薦システムは、ユーザーに関連性の高い興味を引くコンテンツを提示するために、さまざまなデジタルプラットフォームで使用されています。これらのシステムでは、ユーザーの好み、ユーザーの関与度、および推薦されるアイテムに基づいて、各ユーザーにアイテムを提案するためのMLモデルがトレーニングされます。これらのデータは、モデルが興味を引く可能性のあるアイテムを推薦できるようにするための強力な学習信号を提供し、ユーザーエクスペリエンスを向上させます。「STUDY：社会的に意識した時間的因果デコーダ推薦システム」という論文では、教育の設定でのオーディオブックのコンテンツ推薦システムを紹介しています。このシステムでは、読書の社会的な性質を考慮しています。私たちは教育非営利団体であるLearning Allyとのパートナーシップを通じてSTUDYアルゴリズムを開発しました。Learning Allyは、学生に学校全体の購読プログラムを通じてオーディオブックを提供することを目的としています。Learning Allyの図書館には、さまざまなオーディオブックがあります。私たちの目標は、学生が自分の読書体験と関与を高めるための適切なコンテンツを見つけるのを支援することです。私たちは、同じクラスにいる学生の読書関与の履歴を共同で処理することで、現在のトレンドに基づいてモデルが学生のローカライズされたソーシャルグループ（この場合は教室）内でトレンドになっているものを利用するようにしました。データ Learning Allyには、学生を対象とした豊富なデジタルオーディオブックのライブラリがあり、学生の学習成果を向上させるためのソーシャル推薦モデルの構築に適しています。私たちは2年分の匿名化されたオーディオブックの消費データを受け取りました。データ中のすべての学生、学校、およびグループは匿名化されており、Googleによって追跡できないランダムに生成されたIDでのみ識別されます。さらに、潜在的に識別可能なメタデータは集計形式でのみ共有され、学生や機関が再識別されることを防ぐためです。データには、学生のオーディオブックとの相互作用のタイムスタンプ付きレコードが含まれています。各相互作用には匿名化された学生ID（学生の学年と匿名化された学校IDを含む）、オーディオブックの識別子、および日付があります。多くの学校では、1つの学年の学生を複数の教室に分けていますが、このメタデータを活用して、同じ学校と同じ学年のすべての学生が同じ教室にいるという単純化された仮定を行います。これにより、より良いソーシャル推薦モデルを構築するために必要な基盤が提供されますが、個人、クラスグループ、学校を再識別することはできません。 STUDYアルゴリズム私たちは、クリックスルー率の予測問題として推薦問題を構築しました。つまり、各特定のアイテムとの相互作用におけるユーザーがアクションを起こす条件付き確率をモデル化するものです。このモデル化には、Google Researchが開発した広く使用されているTransformerベースのモデルクラスが適しているという以前の研究結果があります。各ユーザーが個別に処理されると、これは自己回帰的なシーケンスモデリング問題になります。私たちはこの概念的なフレームワークを使用してデータをモデル化し、その後、STUDYアプローチを作成するためにこのフレームワークを拡張しました。このクリックスルー率予測アプローチでは、個々のユーザーの過去と将来のアイテムの好みの依存関係をモデル化することができますが、推論時に異なるユーザー間の依存関係をモデル化することはできません。読書の社会的な性質を認識し、この欠点を補うために、私たちはSTUDYモデルを開発しました。このモデルでは、各学生が読んだ複数の本のシーケンスを1つのシーケンスに連結し、単一の教室内の複数の学生からデータを収集します。しかし、このデータ表現はtransformerによってモデル化される場合には注意が必要です。transformerでは、注意マスクは入力がどの出力の予測に情報を提供できるかを制御する行列です。出力の予測に先行するすべてのトークンを入力に使用するパターンは、因果デコーダで伝統的に見られる上三角の注意行列につながります。しかし、STUDYモデルに供給されるシーケンスは時間的に順序づけられていないため、その構成要素の各部分シーケンスは時間的に順序づけられています。標準的な因果デコーダは、このシーケンスには適していません。各トークンを予測しようとするとき、モデルは展開時には利用できない後続のトークンすべてにアテンションを向けることは許されません。これらのトークンのいくつかは、後のタイムスタンプを持ち、展開時に利用できる情報を含んでいる可能性があります。この図では、通常、因果デコーダで使用されるアテンションマスクを示しています。各列は出力を表し、各列が出力を表します。特定の位置の行列エントリの値が1（青で表示される）である場合、モデルは対応する列の出力を予測する際にその行の入力を観察できることを示し、値が0（白で表示される）である場合はその逆を示します。 STUDYモデルは、時間刻みに基づいた柔軟なアテンションマスクを使用して、因果トランスフォーマーをベースに構築します。通常のトランスフォーマーでは、異なる部分列間でのアテンションを許可せず、シーケンス内では三角形の行列マスクが使用されますが、STUDYではシーケンス内で因果律のある三角形のアテンション行列を維持し、タイムスタンプに依存する柔軟な値を持つアテンションを異なるシーケンス間で許可します。したがって、シーケンス内の任意の出力ポイントでの予測は、その時点に対して過去に発生したすべての入力ポイントによって通知されます。これは、シーケンス内の現在の入力の前後に表示されるかどうかに関係なく、実際の世界の展開には利用できない未来の情報を使用して予測することを学習しないように、訓練時に強制される因果関係の制約が重要です。 (a)では、各ユーザーを個別に処理する因果律アテンションを持つ順次自己回帰トランスフォーマを示しています。 (b)では、同じ計算結果をもたらす同等の共同順送信を示しています。最後に、 (c)では、アテンションマスクに新しい非ゼロの値（紫で表示）を導入することで、ユーザー間で情報の流れを許可します。これにより、予測は同じユーザーからの相互作用に限らず、過去のタイムスタンプとのすべての相互作用に依存することができます。実験私たちは、比較のために複数のベースラインとともにSTUDYモデルを学習するためにLearning Allyデータセットを使用しました。私たちは、個別と呼んでいる自己回帰クリックスルーレートトランスフォーマーデコーダ、k最近傍法ベースライン（KNN）、および比較可能なソーシャルベースラインであるソーシャルアテンションメモリネットワーク（SAMN）を実装しました。訓練には最初の学年のデータを使用し、検証およびテストには2番目の学年のデータを使用しました。…