Search Results Transformer

「🤗 Transformersを使用してBarkを最適化する」

🤗 Transformersは、ドメインやタスクにわたる最新の最先端（SoTA）モデルを提供しています。これらのモデルから最高のパフォーマンスを引き出すには、推論速度とメモリ使用量を最適化する必要があります。 🤗 Hugging Faceエコシステムは、このような最適化ツールを提供し、ライブラリ内のすべてのモデルに一括して適用することができる簡単かつ使いやすいものです。これにより、わずか数行のコードでメモリの使用量を減らし、推論を改善することができます。このハンズオンチュートリアルでは、🤗 Transformersでサポートされているテキスト音声合成（TTS）モデルであるBarkを、3つのシンプルな最適化に基づいて最適化する方法を実演します。これらの最適化は、🤗エコシステムのTransformers、Optimum、Accelerateライブラリにのみ依存しています。このチュートリアルは、最適化されていないモデルとそのさまざまな最適化のベンチマークを行う方法をデモンストレーションするものでもあります。説明の少ないがコードが含まれている、より簡略化されたバージョンのチュートリアルは、関連するGoogle Colabを参照してください。このブログ投稿は次のように構成されています：目次 Barkアーキテクチャのリマインダー異なる最適化手法の概要とその利点ベンチマーク結果のプレゼンテーション Barkは、suno-ai/barkで提案された、トランスフォーマーベースのテキスト音声合成モデルです。音声、音楽、背景音、シンプルな効果音など、さまざまなオーディオ出力を生成することができます。さらに、笑い声、ため息、泣き声など、非言語コミュニケーションの音も生成することができます。 Barkは、v4.31.0以降の🤗 Transformersで利用可能です！ Barkで遊んでその能力を発見することができます。 Barkは4つの主要なモデルで構成されています： BarkSemanticModel（または「テキスト」モデルとも呼ばれる）：トークン化されたテキストを入力とし、テキストの意味を捉えるセマンティックなテキストトークンを予測する因果自己回帰トランスフォーマーモデルです。 BarkCoarseModel（または「粗い音響」モデルとも呼ばれる）：BarkSemanticModelモデルの結果を入力とし、EnCodecに必要な最初の2つのオーディオコードブックを予測する因果自己回帰トランスフォーマーモデルです。 BarkFineModel（「細かい音響」モデル）：非因果オートエンコーダートランスフォーマーで、前のコードブック埋め込みの合計に基づいて最後のコードブックを反復的に予測します。 EncodecModelからすべてのコードブックチャネルを予測した後、Barkはそれを使用して出力オーディオ配列をデコードします。…

「Swift Transformersのリリース：AppleデバイスでのオンデバイスLLMsの実行」

私はiOS/Macの開発者に多くの敬意を持っています。2007年にiPhone向けのアプリを書き始めたときは、まだAPIやドキュメントさえ存在しませんでした。新しいデバイスは、制約空間におけるいくつかの見慣れない決定を採用しました。パワー、画面の広さ、UIのイディオム、ネットワークアクセス、永続性、遅延などの組み合わせは、それまでとは異なるものでした。しかし、このコミュニティはすぐに新しいパラダイムに適した優れたアプリケーションを作り出すことに成功しました。私はMLがソフトウェアを構築する新しい方法だと信じており、多くのSwift開発者が自分のアプリにAI機能を組み込みたいと思っていることを知っています。MLのエコシステムは大きく成熟し、さまざまな問題を解決する数千のモデルが存在しています。さらに、LLM（Language and Learning Models）は最近、ほぼ汎用のツールとして登場しました。テキストやテキストに似たデータで作業するため、新しいドメインに適応させることができます。私たちは、LLMが研究所から出てきて、誰にでも利用可能なコンピューティングツールになりつつあるという、コンピューティングの歴史上の転換点を目撃しています。ただし、LlamaのようなLLMモデルをアプリに使用するには、多くの人が直面し、単独で解決する必要があるタスクがあります。私たちはこの領域を探求し、コミュニティと一緒に取り組みを続けたいと考えています。開発者がより速く開発できるように、ツールとビルディングブロックのセットを作成することを目指しています。今日は、このガイドを公開し、MacでCore MLを使用してLlama 2などのモデルを実行するために必要な手順を説明します。また、開発者をサポートするためのアルファ版のライブラリとツールもリリースしています。MLに興味のあるすべてのSwift開発者にPRやバグレポート、意見を提供して、一緒に改善するよう呼びかけています。さあ、始めましょう！動画: Llama 2 (7B)チャットモデルがCore MLを使用してM1 MacBook Proで実行されています。今日リリース swift-transformersは、テキスト生成に焦点を当てたSwiftで実装されたtransformersライクなAPIを開発中のSwiftパッケージです。これはswift-coreml-transformersの進化版であり、より広範な目標を持っています。Hubの統合、任意のトークナイザのサポート、プラグイン可能なモデルなど。 swift-chatは、パッケージの使用方法を示すシンプルなアプリです。 transformersモデルのCore ML変換のための更新されたバージョンのexporters、Core ML変換ツールであるtransformers-to-coremlの更新されたバージョン。これらのテキスト生成ツールで使用するために準備されたLlama…

このAI論文では、これらの課題に対処しながらMoEsの利点を維持するために、完全に微分可能な疎なTransformerであるSoft MoEを提案しています

大きなTransformerが適切に機能するには、より多くの計算コストが必要です。最近の研究では、モデルのサイズとトレーニングデータは同時にスケーリングする必要があり、トレーニングの計算リソースを最大限に活用するために必要です。モデルの拡張性を可能にする代替手法として、専門家のスパースミックスが考えられています。言語、ビジョン、およびマルチモーダルモデルでは、ネットワーク全体でトークンパスウェイをスパースに活性化するための手法が最近開発されています。スパースMoE Transformerの中心にあるのは、各入力トークンに適用するモジュールを選択することであり、これは離散最適化の課題です。これらのモジュールはしばしばMLP（多層パーセプトロン）であり、専門家と呼ばれています。適切なトークンと専門家のペアリングを特定するためには、線形プログラム、強化学習、決定論的な固定ルール、最適輸送、トークンごとの上位kの専門家、および専門家ごとの上位kのトークンなど、さまざまな手法が使用されます。専門家の利用率をバランスさせ、未割り当てのトークンを減らすためには、ヒューリスティックな補助的な損失がしばしば必要です。小さな推論バッチサイズ、一意の入力、または転移学習は、これらの問題を分布外設定で悪化させることがあります。Google DeepMindの研究者は、これらの問題のいくつかに対処する新しい戦略であるSoft MoEを提供しています。 Soft MoEは、トークンと専門家の間の良いハードな割り当てを求めるスパースで離散的なルーターではなく、トークンを組み合わせることによってソフトな割り当てを行います。彼らは特に、トークンと専門家の両方に依存するいくつかの重み付き平均を構築し、それぞれの重み付き平均を関連する専門家で処理します。スパースMoEの中心にある離散プロセスによって引き起こされる上記の多くの問題は、ソフトMoEモデルでは存在しません。一般的なスパースMoE手法では、望ましい挙動を課す補助的な損失があり、これらの補助的な損失はルーティングスコアに依存します。ルーターパラメータは、専門家の出力を選択されたルーティングスコアと後置乗算することで学習されます。観察によると、これらのアルゴリズムはしばしばランダムな固定ルーティングと同様のパフォーマンスを発揮します。Soft MoEは、各入力トークンに依存して各ルーティングパラメータを直接更新することにより、この問題を回避します。彼らは、巨大な割合の入力トークンがネットワーク内で同時に離散的なパスを変更できることに気付き、トレーニング中にトレーニングの問題を引き起こすと述べています。ソフトルーティングは、ルーターのトレーニング時に安定性を提供することができます。多くの専門家が存在する場合、ハードルーティングも困難です。ほとんどの作品は少数の専門家でのみ訓練されるためです。彼らはSoft MoEが数千の専門家にスケーラブルでバランスの取れたモデルであることを示しています。最後に、推論中にバッチ効果はありません。つまり、1つの入力が複数の入力のルーティングと予測に影響を与えることはありません。訓練には約半分の時間しかかからず、Soft MoE L/16はViT H/14を上流、フューショット、およびファインチューニングで上回り、推論でも速くなります。また、同等のトレーニング量の後、Soft MoE B/16はViT H/14よりも上流の指標で勝ち、フューショットとファインチューニングではViT H/14と同等のパフォーマンスを発揮します。Soft MoE B/16はViT H/14のパラメータの5.5倍を持っていながら、推論は5.7倍速くなります。

「Hugging FaceのTransformerモデルを使用して、コメントの有害性ランキングを作成する」

「データサイエンティストとして、私は自然言語処理の最新の進歩を十分に探る機会を持ったことがありません夏と新たな大規模言語モデルのブーム以来、…」

「Hugging Face Transformersライブラリを解剖する」

これは、実践的に大規模言語モデル（LLM）を使用するシリーズの3番目の記事ですここでは、Hugging Face Transformersライブラリについて初心者向けのガイドを提供しますこのライブラリは、簡単で...

「このAI研究は、合成的なタスクにおけるTransformer Large Language Models（LLMs）の制限と能力を、経験的および理論的に探求します」

ChatGPTはトレンドであり、毎日数百万人が利用しています。質問応答、ユニークで創造的なコンテンツの生成、大量のテキストデータの要約、コードの補完、非常に有用な仮想アシスタントの開発など、人間の模倣能力が素晴らしいため、ChatGPTは私たちの生活を楽にしてくれます。ChatGPTはOpenAIによって開発され、GPT 3.5（Generative Pre-Trained Transformer）およびGPT 4のトランスフォーマーアーキテクチャに基づいています。OpenAIがリリースした最新バージョンの言語モデルであるGPT 4は、従来のバージョンとは異なり、テキストと画像の形式で入力を受け取るマルチモーダルな性質を持っています。PaLM、LLaMA、BERTなどの他の大規模言語モデル（LLMs）も、医療、電子商取引、金融、教育などのさまざまなドメインのアプリケーションで使用されています。研究者チームは、複雑なタスクにおけるGPTの印象的なパフォーマンスと簡単なタスクへの苦労の違いを最近公開された研究論文で強調しています。Transformer LLMの制限と能力について詳しく調査するために、チームは3つの代表的な構成タスク、つまり複数桁の乗算、論理グリッドパズル、クラシックな動的プログラミングの問題について実験を行いました。これらのタスクは、問題をより小さなステップに分解し、それらのステップを組み合わせて正確な解を生成することを必要とします。複数ステップの推論を必要とする構成的なタスクを解決するTransformersの限界を研究することを目的として、著者らは2つの仮説を提案しています。まず、Transformersは複数ステップの推論をパスマッチングに線形化してタスクを達成し、実際に理解し実装する必要のある基本的な計算ルールを理解することなく、パターンマッチングとショートカット学習に依存しています。このアプローチにより、トレーニング中に類似したパターンでの高速かつ正確な予測が可能ですが、一般的で複雑な例には適用できません。2番目の仮説は、Transformersはユニークなパターンを持つ高度な構成的なタスクを解決しようとする際に固有の制限を持っているかもしれないというものです。初期の計算エラーが広がり、後のステップで深刻な複合エラーを引き起こし、モデルが正しい解にたどり着けなくなる可能性があります。著者らは、構成的なタスクを計算グラフとして定式化し、2つの仮説を調査するために行っています。これらのグラフは、問題の解決プロセスをより小さな、より管理しやすいサブモジュラーな機能ステップに分解し、言語モデルへの入力シーケンスとしての計算ステップの言語化を可能にします。彼らはさらに、グラフ内で完全な計算を実行せずに、モデルがおそらく学習するであろうパターンについての情報利得を使用して予測を行います。経験的な調査結果に基づいて、著者らはTransformersが構成的な課題を、線形化されたサブグラフマッチングによって処理していることを提案しています。著者らは、抽象的な複数ステップの推論問題に基づいた理論的な議論を提供し、タスクの複雑さが増すにつれてTransformersのパフォーマンスが急速に低下することを強調しています。これは、モデルが既に非常に複雑な問題を扱う能力に制約がある可能性を示しています。結論として、経験的および理論的な結果は、Transformersのパフォーマンスが、基本的な思考プロセスの徹底的な理解よりも主にパターンマッチングとサブグラフマッチングによって推進されていることを意味しており、これはまた、Transformersがますます困難なタスクに取り組むのが困難である可能性を裏付けています。

エネルギーフォレンジックスにおける高度なAIアルゴリズムの開発：消費パターンを通じたスマートグリッド盗難検出のためのTransformerモデルのPythonガイド

ドイツのエネルギーデータからの洞察：小規模設定における消費パターンとオンラインデータサポートアナリティクスに関するステファニー・ネスによるガイド広大なデータの海の中で、各キロワット時はその物語をささやきます複雑な消費パターンの奥深くには異常、エネルギー盗難の秘話が潜んでいるかもしれませんこれらの物語は、頻繁にありふれていることが多いですが、時には高らかに響くこともあります...消費パターンを通じたスマートグリッドの盗難検出のためのトランスフォーマーモデルに関するエネルギーフォレンジクスの高度なAIアルゴリズム開発：Pythonガイドを読む»

「GPTモデルのTransformerアーキテクチャー」

2017年、Googleの著者たちは「Attention is All You Need」という論文を発表し、Transformerアーキテクチャを紹介しましたこの新しいアーキテクチャは言語の領域で前例のない成功を収めました...

DPT（Depth Prediction Transformers）を使用した画像の深度推定

イントロダクション画像の深度推定は、画像内のオブジェクトがどれだけ遠いかを把握することです。これは、3Dモデルの作成、拡張現実、自動運転などのコンピュータビジョンの重要な問題です。過去には、ステレオビジョンや特殊センサなどの技術を使用して深度を推定していました。しかし、今では、ディープラーニングを利用するDepth Prediction Transformers（DPT）と呼ばれる新しい方法があります。 DPTは、画像を見ることで深度を推定することができるモデルの一種です。この記事では、実際のコーディングを通じてDPTの動作原理、その有用性、およびさまざまなアプリケーションでの利用方法について詳しく学びます。学習目標密な予測トランスフォーマ（DPT）の概念と画像の深度推定における役割。ビジョントランスフォーマとエンコーダーデコーダーフレームワークの組み合わせを含むDPTのアーキテクチャの探索。 Hugging Faceトランスフォーマライブラリを使用したDPTタスクの実装。さまざまな領域でのDPTの潜在的な応用の認識。この記事はData Science Blogathonの一部として公開されました。深度推定トランスフォーマの理解深度推定トランスフォーマ（DPT）は、画像内のオブジェクトの深度を推定するために特別に設計されたディープラーニングモデルの一種です。DPTは、元々言語データの処理に開発されたトランスフォーマと呼ばれる特殊なアーキテクチャを利用して、ビジュアルデータを処理するために適応し適用します。DPTの主な強みの1つは、画像のさまざまな部分間の複雑な関係をキャプチャし、長距離にわたる依存関係をモデル化する能力です。これにより、DPTは画像内のオブジェクトの深度や距離を正確に予測することができます。深度推定トランスフォーマのアーキテクチャ深度推定トランスフォーマ（DPT）は、ビジョントランスフォーマをエンコーダーデコーダーフレームワークと組み合わせて画像の深度を推定します。エンコーダーコンポーネントは、セルフアテンションメカニズムを使用して特徴をキャプチャしてエンコードし、画像のさまざまな部分間の関係を理解する能力を向上させます。これにより、細かい詳細を捉えることができます。デコーダーコンポーネントは、エンコードされた特徴を元の画像空間にマッピングすることで密な深度予測を再構築し、アップサンプリングや畳み込み層のような手法を利用します。DPTのアーキテクチャにより、モデルはシーンのグローバルなコンテキストを考慮し、異なる画像領域間の依存関係をモデル化することができます。これにより、正確な深度予測が可能になります。要約すると、DPTはビジョントランスフォーマとエンコーダーデコーダーフレームワークを組み合わせて画像の深度を推定します。エンコーダーは特徴をキャプチャし、セルフアテンションメカニズムを使用してそれらをエンコードし、デコーダーは密な深度予測を再構築します。このアーキテクチャにより、DPTは細かい詳細を捉え、グローバルなコンテキストを考慮し、正確な深度予測を生成することができます。 Hugging Face Transformerを使用したDPTの実装 Hugging Faceパイプラインを使用してDPTの実践的な実装を見ていきます。コードの全体はこちらでご覧いただけます。…

中国からの新しいAI研究、「Meta-Transformer マルチモーダル学習のための統一されたAIフレームワーク」を提案する

人間の脳は、視覚、聴覚、触覚の信号など、さまざまな感覚入力からの情報を同時に処理する神経ネットワーク理論の典型とされています。さらに、ある情報源からの理解が別の情報源の知識に役立つこともあります。しかし、深層学習におけるモダリティの隔たりの大きさのため、さまざまな入力形式を処理できる統合ネットワークを構築するには多くの作業が必要です。あるデータモダリティでトレーニングされたモデルは、各データモダリティの異なるデータパターンと連携するために調整する必要があります。口述言語とは対照的に、写真は画像中のピクセルが密集しているため、かなりの情報冗長性を持っています。一方、点群は3D空間でのまばらな分布とノイズへの感受性の増加のため、記述が困難です。オーディオスペクトログラムは、異なる周波数領域の波の組み合わせから成る時間変動する非定常データパターンです。ビデオデータは、一連の画像フレームから成るため、空間情報と時間的ダイナミクスを記録する特有の能力を持っています。グラフデータは、アイテムをノード、関係をエッジとしてグラフ内で複雑な多対多の相互作用をモデル化します。異なるデータモダリティ間の大きな不均衡のため、各データモダリティを独立にエンコードするために他のネットワークトポロジーを使用することが一般的な手法です。たとえば、Point Transformerは、3D座標から構造情報を抽出するためにベクトルレベルの位置注意を使用しますが、写真や自然言語の文章、オーディオスペクトログラムのスライスをエンコードすることはできません。したがって、さまざまなデータタイプをエンコードするために複数のモダリティで共有されるパラメータ空間を使用できる単一のフレームワークを作成するには、時間と努力がかかります。最近開発されたVLMO、OFA、BEiT-3などの統合フレームワークは、対になったデータで広範なマルチモーダルプリトレーニングを通じて、ネットワークのマルチモーダル理解能力を向上させました。ただし、ビジョンと言語に重点を置いているため、完全なエンコーダをモダリティ間で共有することはできません。ディープラーニングは、自然言語処理（NLP）のために他の研究者が提案したトランスフォーマーアーキテクチャと注意メカニズムから大いに恩恵を受けています。これらの進展により、2Dビジョン（ViTやSwin Transformerを含む）、3Dビジョン（Point TransformerやPoint-ViTを含む）、音響信号処理（AST）など、さまざまなモダリティでの知覚が大幅に向上しました。これらの研究は、トランスフォーマーベースの設計の適応性を示し、いくつかのモダリティを組み合わせるための基礎モデルが作成できるかどうかを研究するための学術界の動機を提供し、最終的にはすべてのモダリティでの人間レベルの知覚を実現する可能性を追求しています。図1は、トランスフォーマーデザインの潜在能力を調査するために、画像、自然言語、点群、オーディオスペクトログラム、ビデオ、赤外線、高分光、X線、IMU、表形式、グラフ、時系列データなど、12のモダリティを扱うMeta-Transformerを使用している様子を示しています。図1: Meta-Transformerを使用して、自然言語、画像、点群、オーディオ、ビデオ、赤外線、高分光、X線、時系列、表形式、慣性計測ユニット（IMU）、グラフデータをすべて同じバックボーンを使用してエンコードする方法を示しています。トランスフォーマーシステムが統合されたマルチモーダルインテリジェンスを提供する可能性を示しています。彼らは、トランスフォーマーを使用した各モダリティの学習プロセスについて説明し、それらを統合フレームワークに組み合わせる際の困難について取り組んでいます。その結果、香港中文大学と上海AIラボの研究者は、Meta-Transformerという新しい統合型マルチモーダル学習フレームワークを提案しています。最初のフレームワークであるMeta-Transformerは、12の異なるモダリティからの入力を同時にエンコードするために同じセットのパラメータを使用し、より統合されたアプローチのマルチモーダル学習を実現します。データからシーケンスへのトークン化のためのモダリティ専門家、モダリティ共有エンコーダ、ダウンストリームタスクのためのタスク固有のヘッドという、3つのシンプルで貴重な構成要素がMeta-Transformerにあります。より具体的には、Meta-Transformerはまず、マルチモーダルデータから共有の多様体空間を持つトークンシーケンスを作成します。その後、凍結されたパラメータを持つモダリティ共有エンコーダを使用して表現が抽出されます。個々のタスクは、軽量なトークナイザと更新されたダウンストリームタスクヘッドのパラメータを使用してさらにカスタマイズされます。最終的に、この簡単なアプローチによってタスク固有およびモダリティ一般の表現を効率的に学習することができます。彼らは12のモダリティからいくつかの標準を使用して重要な研究を行います。Meta-Transformerは、LAION-2Bデータセットの画像のみを使用して事前学習を行い、さまざまな多モーダル学習タスクで最先端の技術を常に上回る優れた処理能力を発揮します。まとめると、彼らの貢献は以下の通りです： • 彼らはMeta-Transformerと呼ばれるユニークなフレームワークを提供し、単一のエンコーダを使用して同じパラメータセットを使用して複数のモダリティから表現を同時に抽出することが可能になります。 • 彼らはTransformerの構成要素である埋め込み、トークナイゼーション、およびエンコーダが多モーダルネットワークアーキテクチャの処理に果たす役割について徹底的に調査しました。 • 実験的に、Meta-Transformerは12のモダリティに関するさまざまなデータセットで優れたパフォーマンスを達成し、統一された多モーダル学習のさらなる可能性を検証します。 • Meta-Transformerは、すべてのモダリティを統合するモダリティ非依存のフレームワークの開発における有望な新しい方向性を示しています。

Learn more about Search Results Transformer - Page 3