Search Results DeiT

「深層学習モデルの可視化方法」

ディープラーニングモデルは通常非常に複雑です多くの伝統的な機械学習モデルが数百のパラメータで済むことがありますが、ディープラーニングモデルは数百万または数十億のパラメータを持っていますオープンAIが2023年春にリリースした大規模言語モデルGPT-4は、約2兆のパラメータを持っていると噂されていますそれは･･･

ML Model Development

「ビジョン・トランスフォーマーの内部機能」

ビジョン・トランスフォーマー（ViTs）の内部動作を視覚化する際、研究者たちはランダムな背景パッチに注目の奇妙なスパイクを確認しましたここでは、それらを修正する方法を紹介します

Note This translation conveys the same meaning as the original English phrase, which refers to going from a state of poverty to wealth.

大規模言語モデル（LLM）が世界中を席巻している中、ベクトル検索エンジンも同行していますベクトルデータベースは、LLMの長期記憶システムの基盤を形成しています...

「SECのサイバーセキュリティルール」

「公開企業は、重大なサイバーセキュリティのインシデントを発生した場合、営業日4日以内に報告する必要があります」

「コンピュータビジョンにとっては、エキサイティングな10年です自然言語の分野での大成功がビジョンの領域にも移されており、ViT（ビジョントランスフォーマー）の導入などが含まれています...」(Konpyūta bijon ni totte wa, ekisaitinguna jūnen desu. Shizen gengo no bunya de no daiseikō ga bijon no ryōiki ni mo utsusarete ori, ViT…

PageRankによる大規模グラフの分析

ランキングは機械学習において重要な問題です与えられたドキュメントの集合に対して、特定の基準に基づいてそれらを特定の順序で並べることが目標ですランキングは情報検索で広く使用されています…

「AIの画像をどのように保存すべきか？Googleの研究者がスコアベースの生成モデルを使用した画像圧縮方法を提案」

1年前、AIによるリアルな画像生成は夢でした。ほとんどの出力が3つの目や2つの鼻などを持つものであるにもかかわらず、実際の顔に似た生成された顔を見ることに感動しました。しかし、拡散モデルのリリースにより、状況は非常に急速に変化しました。現在では、AIによって生成された画像と本物の画像を区別することが困難になりました。高品質な画像を生成する能力は方程式の一部です。それらを適切に利用するためには、効率的に圧縮することが、コンテンツ生成、データ保存、伝送、および帯域幅の最適化などのタスクにおいて重要な役割を果たします。しかし、画像の圧縮は、変換符号化や量子化技術などの伝統的な手法に主に依存しており、生成モデルの探索は限定的でした。画像生成の成功にもかかわらず、拡散モデルやスコアベースの生成モデルは、画像圧縮の主要な手法としてまだ台頭していません。彼らは、高解像度の画像に関しては、HiFiCなどのGANベースの手法に劣るか同等の結果を示すことが多いです。また、テキストから画像へのモデルを画像圧縮に再利用しようとする試みも、元の入力から逸脱した再構成や望ましくないアーティファクトを含む結果に終わっています。画像生成のタスクにおけるスコアベースの生成モデルの性能と、画像圧縮の特定のタスクにおけるGANを上回ることができないというギャップは、興味深い疑問を提起し、さらなる調査を促しています。高品質な画像を生成できるモデルが、画像圧縮の特定のタスクでGANを上回ることができなかったことは驚きです。この相違点は、スコアベースの生成モデルを圧縮タスクに適用する際に、固有の課題と考慮事項が存在し、その全ポテンシャルを引き出すために専門のアプローチが必要であることを示唆しています。したがって、スコアベースの生成モデルを画像圧縮に使用する可能性があることがわかりました。問題は、どのようにしてそれを実現するかということです。それでは、その答えに入ってみましょう。 Googleの研究者は、標準のオートエンコーダを使用し、平均二乗誤差（MSE）に最適化された拡散プロセスと組み合わせて、オートエンコーダによって破棄された微細なディテールを復元し追加する方法を提案しました。画像のエンコードのビットレートは、拡散プロセスでは追加のビットは必要としないため、オートエンコーダによってのみ決定されます。画像圧縮のために拡散モデルを特に微調整することで、画像の品質に関していくつかの最近の生成アプローチを凌駕することが示されています。提案された方法は、最先端のアプローチと比較して、詳細をより良く保存することができます。出典：https://arxiv.org/pdf/2305.18231.pdf この方法は、拡散モデルと直接関連している2つのアプローチを探求しています。拡散モデルは、サンプリングステップの数が多いほど優れた性能を発揮しますが、サンプリングステップが少ない場合には、修正フローの方が優れたパフォーマンスを発揮します。この2ステップのアプローチは、まずMSEに最適化されたオートエンコーダを使用して入力画像をエンコードし、その後、拡散プロセスまたは修正フローを適用して再構成のリアリズムを高めることで構成されています。拡散モデルは、テキストから画像へのモデルとは逆の方向にシフトされたノイズスケジュールを使用し、グローバルな構造よりも詳細を優先します。一方、修正フローモデルは、オートエンコーダから提供されるペアリングを利用して、オートエンコーダの出力を非圧縮画像に直接マッピングします。提案されたHFDモデルの概要。出典：https://arxiv.org/pdf/2305.18231.pdf さらに、この研究では、この領域での将来の研究に役立つ具体的な詳細が明らかにされました。たとえば、ノイズスケジュールや画像生成時に注入されるノイズの量が結果に大きな影響を与えることが示されています。興味深いことに、高解像度の画像をトレーニングする際には、テキストから画像へのモデルはノイズレベルの増加によって利益を得る一方で、拡散プロセス全体のノイズを減らすことが圧縮に有利であることがわかっています。この調整により、モデルは細部により注力することができ、粗い詳細は既にオートエンコーダの再構築によって十分に捉えられています。

「トップの画像処理Pythonライブラリ」

コンピュータビジョンは、デジタル写真、ビデオ、その他の視覚的な入力から有用な情報を抽出し、そのデータに基づいてアクションを起動したり推奨を行ったりするための人工知能（AI）の一分野です。この情報を抽出するためには、画像処理という画像を操作、編集、または操作してその特徴を抽出する現象が必要です。この記事では、Pythonで使用できるいくつかの便利な画像処理ライブラリについて説明します。 1. OpenCV OpenCVは、画像処理とコンピュータビジョンアプリケーションのための最も速く、広く使用されているライブラリの1つです。Githubでサポートされており、1000人以上の貢献者がライブラリの開発に寄与しています。1999年にIntelによって作成され、C、C++、Java、そして最も人気のあるPythonなど、多くの言語をサポートしています。OpenCVは、顔認識、物体検出、画像セグメンテーションなどのモデルを構築するための約2500のアルゴリズムを提供しています。 2. Mahotas Mahotasは、閾値処理、畳み込み、形態学的処理などの高度な機能を提供する画像処理とコンピュータビジョンのための高度なPythonライブラリです。C++で書かれており、高速です。 3. SimpleCV SimpleCVは、OpenCVのより簡単なバージョンと考えることができます。Pythonのフレームワークです。色空間、バッファ管理、固有値などの多くの画像処理の前提条件や概念を必要としません。そのため、初心者にも適しています。 4. Pillow Pillowは、Python Imaging Library（PIL）に基づいています。このライブラリは、広範なファイル形式のサポート、効率的な内部表現、かなり強力な画像処理機能を提供します。ポイント操作、フィルタリング、操作など、さまざまな画像処理活動を包括しています。 5. Scikit-Image Scikit-Imageは、画像処理のためのオープンソースのPythonライブラリです。元の画像を変換することにより、NumPy配列を画像オブジェクトとして使用します。NumPyはCプログラミングで構築されているため、画像処理に非常に高速で効果的なライブラリです。フィルタリング、モルフォロジー、特徴検出、セグメンテーション、幾何学的変換、色空間操作などのアルゴリズムが含まれています。 6. SimplelTK SimpleITKは、多次元画像解析を提供するオープンソースのライブラリです。画像を配列として考えるのではなく、空間内の点の集合として扱います。Python、R、Java、C＃、Lua、Ruby、TCL、C ++などの言語をサポートしています。 7. SciPy…

ビジョン-言語モデルへのダイブ

人間の学習は、複数の感覚を共同で活用することによって新しい情報をより良く理解し、分析することができるため、本質的にマルチモーダルです。最近のマルチモーダル学習の進歩は、このプロセスの効果的性質からインスピレーションを得て、画像、ビデオ、テキスト、音声、ボディジェスチャー、表情、生理的信号などのさまざまなモダリティを使用して情報を処理しリンクするモデルを作成することに取り組んでいます。 2021年以降、ビジョンと言語のモダリティ（またはジョイントビジョン言語モデルとも呼ばれる）を組み合わせたモデル、例えばOpenAIのCLIPなどへの関心が高まっています。ジョイントビジョン言語モデルは、画像キャプショニング、テキストによる画像生成および操作、視覚的な質問応答など、非常に困難なタスクにおいて特に印象的な能力を示しています。この分野は引き続き進化しており、ゼロショットの汎化性能向上に貢献し、さまざまな実用的なユースケースにつながっています。このブログ記事では、ジョイントビジョン言語モデルについて、それらのトレーニング方法に焦点を当てて紹介します。また、最新の進歩をこの領域で試すために🤗 Transformersを活用する方法も示します。目次はじめに学習戦略コントラスティブラーニング PrefixLM クロスアテンションを用いたマルチモーダル融合 MLM / ITM トレーニングなしデータセット 🤗 Transformersでのビジョン言語モデルのサポート研究の新たな展開結論はじめにモデルを「ビジョン言語」モデルと呼ぶとはどういうことでしょうか？ビジョンと言語のモダリティの両方を組み合わせるモデルということでしょうか？しかし、それは具体的にどういう意味を持つのでしょうか？これらのモデルを定義するのに役立つ特徴の一つは、画像（ビジョン）と自然言語テキスト（言語）の両方を処理できる能力です。このプロセスは、モデルに求められる入力、出力、タスクに依存します。たとえば、ゼロショット画像分類のタスクを考えてみましょう。入力画像といくつかのプロンプトを渡すことで、入力画像に対する最も可能性の高いプロンプトを取得します。この猫と犬の画像はここから取得しました。…

bitsandbytes、4ビットの量子化、そしてQLoRAを使用して、LLMをさらに利用しやすくする

LLMは大きいことで知られており、一般のハードウェア上で実行またはトレーニングすることは、ユーザーにとって大きな課題であり、アクセシビリティも困難です。私たちのLLM.int8ブログポストでは、LLM.int8論文の技術がtransformersでどのように統合され、bitsandbytesライブラリを使用しているかを示しています。私たちは、モデルをより多くの人々にアクセス可能にするために、再びbitsandbytesと協力することを決定し、ユーザーが4ビット精度でモデルを実行できるようにしました。これには、テキスト、ビジョン、マルチモーダルなどの異なるモダリティの多くのHFモデルが含まれます。ユーザーはまた、Hugging Faceのエコシステムからのツールを活用して4ビットモデルの上にアダプタをトレーニングすることもできます。これは、DettmersらによるQLoRA論文で今日紹介された新しい手法です。論文の概要は以下の通りです： QLoRAは、1つの48GBのGPUで65Bパラメータモデルをフィントゥーニングするためのメモリ使用量を十分に削減しながら、完全な16ビットのフィントゥーニングタスクのパフォーマンスを維持する効率的なフィントゥーニングアプローチです。QLoRAは、凍結された4ビット量子化された事前学習言語モデルをLow Rank Adapters（LoRA）に逆伝搬させます。私たちの最高のモデルファミリーであるGuanacoは、Vicunaベンチマークで以前に公開されたすべてのモデルを上回り、ChatGPTのパフォーマンスレベルの99.3％に達しますが、1つのGPUでのフィントゥーニングには24時間しかかかりません。QLoRAは、パフォーマンスを犠牲にすることなくメモリを節約するためのいくつかの革新を導入しています：（a）通常分布された重みに対して情報理論的に最適な新しいデータ型である4ビットNormalFloat（NF4）（b）量子化定数を量子化して平均メモリフットプリントを減らすためのダブル量子化、および（c）メモリスパイクを管理するためのページドオプティマイザ。私たちはQLoRAを使用して1,000以上のモデルをフィントゥーニングし、高品質のデータセットを使用した指示の追跡とチャットボットのパフォーマンスの詳細な分析を提供しています。これは通常のフィントゥーニングでは実行不可能である（例えば33Bおよび65Bパラメータモデル）モデルタイプ（LLaMA、T5）とモデルスケールを横断したものです。私たちの結果は、QLoRAによる小規模な高品質データセットでのフィントゥーニングが、以前のSoTAよりも小さいモデルを使用しても最先端の結果をもたらすことを示しています。さらに、ヒューマンとGPT-4の評価に基づいてチャットボットのパフォーマンスの詳細な分析を提供し、GPT-4の評価がヒューマンの評価に対して安価で合理的な代替手段であることを示しています。さらに、現在のチャットボットのベンチマークは、チャットボットのパフォーマンスレベルを正確に評価するための信頼性がないことがわかります。レモンピックされた分析では、GuanacoがChatGPTに比べてどこで失敗するかを示しています。私たちは4ビットトレーニングのためのCUDAカーネルを含む、すべてのモデルとコードを公開しています。リソースこのブログポストとリリースには、4ビットモデルとQLoRAを始めるためのいくつかのリソースがあります：元の論文基本的な使用法Google Colabノートブック-このノートブックでは、4ビットモデルとその変種を使用した推論の方法、およびGoogle ColabインスタンスでGPT-neo-X（20Bパラメータモデル）を実行する方法を示しています。フィントゥーニングGoogle Colabノートブック-このノートブックでは、Hugging Faceエコシステムを使用してダウンストリームタスクで4ビットモデルをフィントゥーニングする方法を示しています。Google ColabインスタンスでGPT-neo-X 20Bをフィントゥーニングすることが可能であることを示しています。論文の結果を再現するための元のリポジトリ Guanaco 33b playground-または以下のプレイグラウンドセクションをチェックはじめにモデルの精度と最も一般的なデータ型（float16、float32、bfloat16、int8）について詳しく知りたくない場合は、これらの概念の詳細について視覚化を含めた簡単な言葉で説明している私たちの最初のブログポストの紹介を注意深くお読みいただくことをお勧めします。詳細については、このwikibookドキュメントを通じて浮動小数点表現の基本を読むことをお勧めします。最近のQLoRA論文では、4ビットFloatと4ビットNormalFloatという異なるデータ型を探求しています。ここでは、理解しやすい4ビットFloatデータ型について説明します。…

Learn more about Search Results DeiT