Search Results 場所

TaatikNet（ターティクネット）：ヘブライ語の翻字のためのシーケンス・トゥ・シーケンス学習

この記事では、TaatikNetとseq2seqモデルの簡単な実装方法について説明していますコードとドキュメントについては、TaatikNetのGitHubリポジトリを参照してくださいインタラクティブなデモについては、HF Spaces上のTaatikNetをご覧ください多くのタスク...

アナリティクスを台無しにするステークホルダーの不適切な管理

新しい役割としてアナリストを始めたばかりです例えば、猫用家具という、あなたが深い情熱を持っている業界についてのデータに内部アクセスを得ることにワクワクしています最初の依頼が届きます：一つの...

あなたが作るものはあなたそのものです：コードをより人間的にする方法

GitHubのクリスティーナ・エンチェヴタさんが、AIアプリケーションが私たちの価値観を反映していることや、建設的なフィードバックの提供方法などについて話します

希望、恐怖、そしてAI：AIツールに対する消費者の態度に関する最新の調査結果

米国の消費者が人工知能（AI）に関する意見と認識について述べた最新の「Trust Survey」の結果を明らかにしたThe Vergeの報告書「Hope, Fear, and AI」によると、AIの急速な上昇と広範な採用についての洞察を提供しています。Vox Mediaと提携して行われたこの調査は、2017年、2020年、2021年に実施されたビッグテックに対する態度に関する調査シリーズの第4弾です。この共同研究は、成人アメリカ人がAIをどのように利用し、考えているかについて包括的な理解を追求しました。 AIの影響の理解：2,000人以上のアメリカ人からの洞察 2023年4月に調査された2,000人以上のサンプルを元に、Vox Mediaは洞察に富んだデータストーリーテリングコンサルティング会社であるThe Circusと提携し、さまざまな重要な洞察を明らかにしました。この調査では、アメリカ人のAIツールの使用状況や最も急速に普及しているAIツールなどのトピックについて調査しました。また、AIが職場で引き起こす潜在的な変革や、AIに対応するための社会的な変化の希望なども研究しました。関連記事：AIが人間を置き換える可能性はあるか？ The Verge：技術と社会の交差点で信頼性のある情報源「The Vergeは人々に技術がどのように影響を与えるかを理解するための場所であり、今年のAIほど大きなストーリーはありません」とThe Vergeの編集長Nilay Patelは強調しています。テクノロジージャーナリズムの最前線に立つ信頼できる権威として、The Vergeは新興技術が社会に与える影響を理解するための信頼性のある情報源として位置づけています。さまざまな分野でAIが中心になる議論が展開される中、The Vergeの最新の報告書は重要な関連性を持ち、貴重な洞察を提供しています。 AIの採用：アメリカ人の普及トレンド「Hope, Fear, and…

キャッシュの遷移に対する自動フィードバックによる優先学習

Googleのソフトウェアエンジニア、Ramki GummadiとYouTubeのソフトウェアエンジニア、Kevin Chenによって投稿されました。キャッシュは、リクエストパターンに基づいてクライアントに近い場所に人気のあるアイテムの一部を保存することで、ストレージおよび検索システムのパフォーマンスを大幅に向上させる、コンピュータサイエンスにおける普遍的なアイデアです。キャッシュの管理における重要なアルゴリズムの一部は、格納されるアイテムのセットを動的に更新するために使用される決定ポリシーであり、数十年にわたって広範に最適化されてきました。これにより、いくつかの効率的で堅牢なヒューリスティクスが生まれました。機械学習をキャッシュポリシーに適用することは、最近の研究で有望な結果を示していますが（例：LRB、LHD、ストレージアプリケーションなど）、競争力のある計算およびメモリの負荷を維持しながら、信頼性のあるヒューリスティクスをベンチマークを超えて信頼性のある汎用的な設定に対して上回ることはまだ課題です。 NSDI 2023で発表された「YouTubeコンテンツデリバリーネットワークのためのヒューリスティック支援学習優先エヴィクションポリシー（HALP）」では、学習された報酬を基にしたスケーラブルな最先端のキャッシュエヴィクションフレームワークを紹介しています。HALPフレームワークは、軽量なヒューリスティックベースラインエヴィクションルールと学習された報酬モデルを組み合わせるメタアルゴリズムです。報酬モデルは、オフラインのオラクルを模倣するために設計された選好比較に基づく継続的な自動フィードバックでトレーニングされる軽量なニューラルネットワークです。HALPがYouTubeのコンテンツデリバリーネットワークのインフラストラクチャの効率性とユーザーのビデオ再生遅延を改善した方法について説明します。キャッシュエヴィクションの決定のための学習済みの選好 HALPフレームワークは、2つのコンポーネントに基づいてキャッシュエヴィクションの決定を行います：（1）自動フィードバックを介した選好学習によってトレーニングされたニューラル報酬モデル、および（2）学習された報酬モデルと高速ヒューリスティックを組み合わせるメタアルゴリズム。キャッシュが入力リクエストを観察すると、HALPはペアワイズの選好フィードバックを介した選好学習法として、各アイテムに対してスカラー報酬を予測する小規模なニューラルネットワークを継続的にトレーニングします。HALPのこの側面は、人間のフィードバックからの強化学習（RLHF）システムに似ていますが、2つの重要な違いがあります：フィードバックは自動化されており、オフラインの最適キャッシュエヴィクションポリシーの構造に関するよく知られた結果を活用しています。モデルは、自動フィードバックプロセスから構築されたトレーニングの例の一時バッファを使用して継続的に学習されます。エヴィクションの決定は、2つのステップを持つフィルタリングメカニズムに依存しています。まず、パフォーマンスの観点ではサブオプティマルですが、効率的なヒューリスティックを使用して、小さな候補のサブセットが選択されます。次に、再ランキングステップによって、ベースラインの候補から内部の最終的な決定の品質を「ブーストする」ために、ニューラルネットワークのスコアリング関数が使用されます。 HALPは、エヴィクションの決定だけでなく、効率的なフィードバックの構築とモデルの更新に使用されるペアワイズの選好クエリのサンプリングのエンドツーエンドのプロセスを包括しています。ニューラル報酬モデル HALPは、キャッシュ内の個々のアイテムを選択的にスコアリングするために、軽量な2層のマルチレイヤーパーセプトロン（MLP）を報酬モデルとして使用します。特徴は、メタデータのみの「ゴーストキャッシュ」として構築および管理されます（ARCなどの古典的なポリシーと同様）。任意のルックアップリクエストの後、通常のキャッシュ操作に加えて、HALPはダイナミックな内部表現を更新するために必要なブックキーピング（例：キャッシュルックアップリクエストと共にユーザーから提供される外部のタグ付き特徴、および各アイテムで観測されたルックアップ時間から構築された内部的な動的特徴など）を実行します。 HALPは、ランダムな重み初期化から完全にオンラインで報酬モデルを学習します。これは、報酬モデルを最適化するためにのみ決定が行われる場合、悪いアイデアのように思えるかもしれません。ただし、エヴィクションの決定は、学習された報酬モデルとLRUなどのサブオプティマルでシンプルかつ堅牢なヒューリスティックの両方に依存しています。これにより、報酬モデルが完全に一般化された場合に最適なパフォーマンスが得られる一方で、一時的に一般化されていないまたは変化する環境に追いつく途中の情報の少ない報酬モデルにも堅牢性があります。オンライントレーニングのもう一つの利点は、専門化です。キャッシュサーバーはそれぞれ異なる環境（地理的位置など）で実行されるため、ローカルのネットワーク状況やローカルで人気のあるコンテンツなどに影響を受けます。オンライントレーニングは、この情報を自動的にキャプチャする一方で、単一のオフライントレーニングソリューションとは異なり、一般化の負担を軽減します。ランダム化された優先度キューからのスコアリングサンプルエヴィクションの決定の品質を排他的に学習された目的に最適化することは、2つの理由で実用的ではありません。計算効率の制約: 学習されたネットワークによる推論は、実際のキャッシュポリシーの計算に比べてかなり高コストになることがあります。これはネットワークと特徴の表現力だけでなく、各エビクションの決定時にこれらがどれくらい頻繁に呼び出されるかも制約します。分布外の汎化のための堅牢性: HALPは、継続的な学習を伴うセットアップで展開されており、急速に変化するワークロードによって、以前に見たデータに関して一時的に分布外になるリクエストパターンが生成される可能性があります。これらの問題に対処するために、HALPはまず、エビクションの優先順位に対応する安価なヒューリスティックスコアリングルールを適用し、小さな候補サンプルを特定します。このプロセスは、正確な優先順位キューを近似する効率的なランダムサンプリングに基づいています。候補サンプルを生成するための優先関数は、既存の手動調整アルゴリズム（例：LRU）を使用して素早く計算することを意図しています。ただし、これは簡単なコスト関数を編集することによって他のキャッシュ置換ヒューリスティックを近似するように構成できます。以前の研究とは異なり、ランダム化は近似と効率のトレードオフに使用されるものでしたが、HALPでは、トレーニングと推論の両方でサンプルされた候補の時間ステップごとの固有のランダム化にも依存しています。最終的なエビクトされるアイテムは、提供された候補から選ばれ、ニューラル報酬モデルに従って予測された優先スコアを最大化するために再ランクされたサンプルに相当します。エビクションの決定に使用される候補のプールは、サンプル間のトレーニングと推論のズレを最小限に抑えるために、ペアワイズの優先クエリの構築にも使用されます。…