Search Results arXiv

Deep learning論文の数学をPyTorchで効率的に実装する：SimCLR コントラスティブロス

PyTorch / TensorFlow のコードに深層学習論文の数学を実装することは、深層学習モデルの数学的な理解を深め、高度なプログラミングスキルを向上させます

T5 テキストからテキストへのトランスフォーマー（パート2）

BERT [5] の提案により、自然言語処理（NLP）のための転移学習手法の普及がもたらされましたインターネット上での未ラベル化されたテキストの広範な利用可能性により、私たちは...

次元をパンプアップせよ：DreamEditorは、テキストプロンプトを使って3Dシーンを編集するAIモデルです

最近、3Dコンピュータビジョンの領域はNeRFで溢れていました。それらは画期的な技術として登場し、シーンの新しいビューの再構築と合成を可能にしました。NeRFは、複数の視点画像のコレクションから基礎となるジオメトリと外観情報をキャプチャしモデル化します。 NeRFはニューラルネットワークを活用することで、従来の方法を超えるデータ駆動型のアプローチを提供します。NeRF内のニューラルネットワークは、シーンのジオメトリ、照明、ビュー依存の外観との複雑な関係を表現することを学び、高精細かつリアルなシーンの再構築を可能にします。NeRFの主な利点は、元の画像セットでキャプチャされていない領域を含め、シーン内の任意の視点から写真のようなリアルな画像を生成できる能力にあります。 NeRFの成功は、コンピュータグラフィックス、仮想現実、拡張現実において新たな可能性を切り開き、現実世界のシーンに近い没入型でインタラクティブな仮想環境の作成を可能にしました。そのため、NeRFをさらに進化させるための領域内での真剣な関心が存在します。 NeRFのいくつかの欠点は、現実世界のシナリオでの適用範囲を制限しています。たとえば、ニューラルフィールドの編集は、高次元のニューラルネットワーク特徴内での形状とテクスチャ情報の暗黙の符号化により、大きな課題となります。一部の方法では、この問題に取り組むために探索的な編集技術を使用しましたが、これらは広範なユーザーの入力を必要とし、正確で高品質な結果を得るのに苦労します。 NeRFの編集可能性は、現実世界のアプリケーションに新たな可能性を開くことができます。しかし、今までの試みは問題を解決するには十分に良い結果ではありませんでした。しかし、私たちには新しいプレーヤーが登場しました。その名はDreamEditorです。 DreamEditorは3D NeRFの編集を可能にします。出典：https://arxiv.org/pdf/2306.13455.pdf DreamEditorは、テキストのプロンプトを使用して直感的かつ便利なニューラルフィールドの変更を可能にするユーザーフレンドリーなフレームワークです。メッシュベースのニューラルフィールドを使用してシーンを表現し、ステップバイステップの編集フレームワークを採用することで、再テクスチャリング、オブジェクトの置換、オブジェクトの挿入など、さまざまな編集効果を実現します。メッシュ表現は、2Dの編集マスクを3Dの編集領域に変換することで、正確なローカル編集を容易にします。また、ジオメトリとテクスチャを分離することにより、過度な変形を防ぎます。ステップバイステップのフレームワークは、事前に学習された拡散モデルとスコア蒸留サンプリングを組み合わせることで、簡単なテキストのプロンプトに基づいた効率的かつ正確な編集を可能にします。 DreamEditorの概要。出典：https://arxiv.org/pdf/2306.13455.pdf DreamEditorは、直感的かつ正確なテキストによる3Dシーンの編集を容易にするために、3つの主要なステージを追います。最初のステージでは、元のニューラル放射フィールドをメッシュベースのニューラルフィールドに変換します。このメッシュ表現は、空間的に選択的な編集を可能にします。変換後、特定のシーンで訓練されたカスタマイズされたテキストから画像へ（T2I）モデルを使用します。このモデルはテキストのプロンプトとシーンの視覚的コンテンツとの間の意味関係を捉えます。最後に、編集された変更はT2I拡散モードを使用してニューラルフィールド内のターゲットオブジェクトに適用されます。 DreamEditor は高い忠実度とリアリズムを保ちながら、3Dシーンを正確かつ進行的に編集することができます。メッシュベースの表現から正確な位置特定、拡散モデルを介した制御された編集まで、段階的なアプローチによって、DreamEditor は関連性のない領域での不必要な変更を最小限に抑えながら、非常にリアルな編集結果を実現することができます。

NODE：表形式に特化したニューラルツリー

近年、機械学習は人気が爆発し、ニューラルディープラーニングモデルは画像やテキストなどの複雑なタスクにおいて、XGBoost [4] のような浅いモデルを圧倒しました…

新しい人工知能（AI）の研究アプローチは、統計的な視点からアルゴリズム学習の問題として、プロンプトベースのコンテキスト学習を提示します

インコンテキスト学習は、最近のパラダイムであり、大規模言語モデル（LLM）がテストインスタンスと数少ないトレーニング例を入力として観察し、パラメータの更新なしに直接出力をデコードする方法です。この暗黙のトレーニングは、通常のトレーニングとは異なり、例に基づいて重みが変更されることと対照的です。出典: https://arxiv.org/pdf/2301.07067.pdf なぜインコンテキスト学習が有益であるのかという問題が生じます。2つの回帰タスクをモデル化したいと仮定できますが、制限は1つのモデルしか使用できないということです。ここでインコンテキスト学習は便利であり、タスクごとに回帰アルゴリズムを学習することができます。つまり、モデルは異なる入力のセットに対して別々に適合した回帰を使用します。論文「Transformers as Algorithms: Generalization and Implicit Model Selection in In-context Learning」では、インコンテキスト学習の問題をアルゴリズム学習の問題として形式化しています。彼らは学習アルゴリズムとしてトランスフォーマーを使用し、推論時に別のターゲットアルゴリズムを実装するためにトレーニングして特化できると述べています。この論文では、トランスフォーマーを介したインコンテキスト学習の統計的側面を探求し、理論的予測を検証するために数値評価を行いました。この研究では、2つのシナリオを調査しました。最初のシナリオでは、プロンプトはi.i.d（入力、ラベル）のペアのシーケンスで構成されています。もう一つのシナリオでは、シーケンスは動的システムの軌跡です（次の状態は前の状態に依存します：xm+1 = f(xm) + ノイズ）。では、このようなモデルをどのようにトレーニングするのでしょうか？ ICLのトレーニングフェーズでは、T個のタスクがデータ分布 {Dt}t=1Tに関連付けられます。各タスクに対して、対応する分布からトレーニングシーケンスStを独立してサンプリングします。その後、Stの部分シーケンスとシーケンスStから値xを渡して、xに対して予測を行います。ここではメタラーニングのフレームワークのようです。予測後、損失を最小化します。ICLトレーニングの背後にある直感は、対象のタスクに最適なアルゴリズムを探し出すことです。…

AIの相互作用を変革する：LLaVARは視覚とテキストベースの理解において優れた性能を発揮し、マルチモーダルな指示従属モデルの新時代を切り開く

<img src=”https://www.marktechpost.com/wp-content/uploads/2023/07/Screenshot-2023-07-01-at-10.42.23-PM-1024×662.png”/><img src=”https://www.marktechpost.com/wp-content/uploads/2023/07/Screenshot-2023-07-01-at-10.42.23-PM-150×150.png”/>複数のアクティビティを1つの命令に組み合わせることで、命令のチューニングは新しいタスクへの一般化を向上させます。このようなオープンエンドの質問に対応する能力は、ChatGPT 2以降のチャットボットの急増に貢献しています。CLIP-ViTのようなビジュアルエンコーダは、ビジュアル命令チューニングモデルの一部として最近会話エージェントに追加され、画像に基づいた人間とエージェントの対話を可能にします。しかし、彼らは画像内のテキストを理解するのに助けが必要です。おそらく、訓練データが自然なイメージ（例：Conceptual CaptionsとCOCO）の優勢であるためです。しかし、読解力は人間の日常的な視覚知覚にとって重要です。幸いにも、OCR技術により、写真から単語を認識することが可能になりました。（より大きなコンテキスト長の）計算は、ビジュアル命令チューニングモデルの入力に認識されたテキストを追加することで（単純に）増加しますが、ビジュアルエンコーダのエンコーディング能力を完全に活用することはありません。これを実現するために、彼らは写真内の単語の理解が必要な命令に従うデータを収集することを提案しています。OCRの結果をOCR結果と組み合わせて、テキストリッチな画像を使用して422Kのノイズのある命令に従うデータを最初に収集します。これらの大量のノイズのある対応データは、言語デコーダとビジュアル特徴の機能の整列を大幅に向上させます。さらに、テキストのみのGPT-4にOCRの結果と画像キャプションを使用して16Kの会話を生成するように依頼します。各会話には多くの質問と回答のペアが含まれる場合があります。このアプローチでは、GPT-4がOCRデータをノイズ除去し、ユニークな質問を作成する必要があります（図1）。彼らは取得されたデータの効果を評価するために、ノイズのあるデータと高品質の例を前処理および微調整の段階に補足的に使用します。<figure><img src=”https://lh4.googleusercontent.com/-AXzLZLUIIpwSBRrWQKqlBzz-EXf5cVHWCylLOuSOPcA9WR0VCjfJiLH4csuBmwvInV2RO3SWrP530DFQKr1IZt76lZJmdGw9YJN0gRbNqq3y8e1YwIyymtzK7DxvMkmTSkIefCHXn4wZqv8rUtXvsQ”/><figcaption>図1は、命令に従う統計情報がどのように収集されるかを示しています。 | https://arxiv.org/pdf/2306.17107.pdf</figcaption></figure>ジョージア工科大学、アドビリサーチ、スタンフォード大学の研究者が開発したLLaVAR（Large Language and Vision Assistant that Can Read）は、視覚とテキストの両方の理解力で優れたパフォーマンスを発揮します。オリジナルのLLaVAと比較して、入力解像度を2242から3362に拡大することで、細かいテキストの特徴をより良くエンコードする実験を行いました。評価手法によると、彼らはScienceQAの微調整結果とともに、4つのテキストベースのVQAデータセットの結果を示しています。また、GPT-4に基づいた命令に従う評価には、LAIONからの50のテキストリッチな画像とCOCOからの30の自然画像も使用しています。さらに、ポスターやウェブサイトのスクリーンショット、ツイートなど、より洗練された命令に従う能力を測定するための定性的な分析も行っています。まとめると、彼らの貢献は以下の通りです：• 高品質な16Kとノイズのある422Kの命令に従うデータを収集しました。どちらもビジュアル命令チューニングを改善することが示されています。改善された能力により、彼らのモデルLLaVARは、テキストと画像を含む多様なオンライン素材に基づいたエンドツーエンドの対話を提供することができますが、モデルのパフォーマンスは自然な写真においてわずかに向上しています。• トレーニングおよび評価データ、およびモデルのマイルストーンは公開されています。この記事はMarkTechPostで最初に公開されました。

大規模な言語モデルにおけるコンテキストに基づく学習アプローチ

言語モデリング（LM）は、単語のシーケンスの生成的な尤度をモデル化することを目指し、将来の（または欠損している）トークンの確率を予測します言語モデルは自然言語処理の世界を革新しました...

もし、口頭および書面によるコミュニケーションが人間の知能を発展させたのであれば… 言語モデルは一体どうなっているのでしょうか？

人間の知能は、その非凡な認知能力によって、他の種に比べて比類のない存在ですこの知的優位性の原動力は、言語の出現に遡ることができます...

LOMO（LOw-Memory Optimization）をご紹介します：メモリ使用量を削減するために、勾配計算とパラメータの更新を1つのステップで融合する新しいAIオプティマイザです

Large Language Models（LLMs）は、出現やグロッキングのような素晴らしいスキルや、モデルサイズの持続的な増加などを通じて、自然言語処理を変革してきました。これらのモデルを数千億のパラメータで訓練することにより、NLP研究のハードルが上がっています。しかし、LLMの調整は頻繁に880GBのマシンなどの高価なGPUリソースを必要とするため、小規模な研究所や企業がこの分野の研究に参加することは難しいです。最近では、LoRAやPrefix-tuningなどのパラメータ効率の良いファインチューニング技術により、リソース制約のあるLLMの調整が可能になりました。完全なパラメータのファインチューニングは、パラメータ効率の良いファインチューニングよりも効果的な戦略とされてきましたが、両方の技術が実行可能な解決策を提供する必要があります。彼らはリソースが制約された状況で完全なパラメータのファインチューニングを完了するための方法を調査したいと考えています。彼らはLLMのメモリ使用の4つの特性であるアクティベーション、オプティマイザの状態、勾配テンソル、およびパラメータを調べ、トレーニングプロセスを次の3つの方法で最適化します：1）オプティマイザのアルゴリズムの機能を再評価し、SGDがLLMの完全なパラメータのファインチューニングに適した代替手段であることを発見します。SGDは中間ステージを保持しないため、オプティマイザの状態の全部分を削除することができます。2）彼らの提案されたオプティマイザであるLOMO（図1参照）は、勾配テンソルのメモリ使用量を最大の勾配テンソルのメモリ使用量に等しくすることで、メモリ使用量を低減します。3）彼らは勾配の正規化と損失スケーリングを組み合わせ、トレーニング中に一部の計算を完全精度に切り替えることで、LOMOによる混合精度トレーニングを安定化させます。彼らの手法は、パラメータ、アクティベーション、および最大の勾配テンソルと同じ量のメモリを組み合わせます。彼らは完全なパラメータのファインチューニングのメモリ消費量を著しく増加させ、推論のレベルまで減少させます。これは、前向きのプロセスだけが逆向きのプロセスよりも少ないメモリを必要としないはずだからです。特に、彼らはLOMOを使用してメモリを節約するために、パラメータの更新プロセスがSGDと似ているため、ファインチューニング機能が損なわれないことを確認しています。Fudan大学の研究者たちは、LOMOのメモリとスループットの能力を経験的に評価することで、わずか8台のRTX 3090 GPUで65Bモデルを成功裏にトレーニングすることが可能であることを示しています。さらに、彼らはLOMOを使用してSuperGLUEデータセットコレクション上のLLMの全パラメータを調整し、彼らの提案手法のダウンストリームのパフォーマンスを検証しています。経験的な結果は、LOMOが多数のパラメータを持つLLMを最適化する際の性能を示しています。 https://arxiv.org/pdf/2306.09782.pdf 彼らの総合的な貢献は以下の通りです： • LLMのすべてのパラメータを調整する際にSGDが成功することを示唆する理論的な研究を提供します。LLMの最適化において、かつてSGDの広範な使用を妨げていた障壁は、重大ではなくなる可能性があります。 • ファインチューニングのプロセスを維持しながら、GPUメモリ使用量を劇的に削減するために、LOMO（低メモリ最適化）を提案します。 • メモリ使用量とスループットのパフォーマンスを注意深く分析することにより、LOMOがリソース制約のある状況でLLMを最適化する効率性を経験的に実証します。ダウンストリームのジョブのパフォーマンス評価は、これを裏付ける追加の正当性を提供します。コードの実装はGitHubで利用可能です。

テキストブック品質の合成データを使用して言語モデルをトレーニングする

マイクロソフトリサーチは、データの役割についての現在進行中の議論に新たな燃料を加える論文を発表しました具体的には、データの品質と合成データの役割に触れています

Learn more about Search Results arXiv - Page 25