Learn more about Search Results RMKV

「非営利研究者による人工知能（AI）の進展リスト」

去年遅くから今年にかけて、2023年はAIの人々がAIアプリケーションを作成するのに最適な時期であり、これは非営利の研究者によるAIの進歩リストのおかげです。以下にそのリストを示します。 ALiBi ALiBiはTransformersにおけるテキストの推測問題に効率的に取り組む方法であり、学習に使用されたものよりも長いテキストシーケンスを推測する際に適用されます。ALiBiは実行時間に影響を与えず、追加のパラメータも必要とせず、既存のTransformerコードの数行を変更するだけで推測を行うことができる実装が容易なメソッドです。 Scaling Laws of RoPE-based Extrapolation この方法は、Transformerの推測能力を向上させるためのフレームワークです。研究者は、Rotary Position Embedding（RoPe）ベースのLLMを事前学習の文脈長でより小さなまたは大きなベースで微調整すると、より良いパフォーマンスが得られることを発見しました。 FlashAttention Transformersは、テキスト情報を処理できる強力なモデルですが、大規模なテキストシーケンスで作業する場合には大量のメモリが必要とされます。FlashAttentionは、既存の基準よりも高速でTransformerをトレーニングする、入出力（IO）を考慮したアルゴリズムです。 Branchformer Conformers（Transformerの一種）は音声処理に非常に効果的です。それらは畳み込み層とセルフアテンション層を順次使用するため、そのアーキテクチャは解釈しづらいものとなっています。Branchformerは、エンコーダの代替手法であり、柔軟で解釈可能であり、エンドツーエンドの音声処理タスクにおいて依存関係をモデル化するための並列ブランチを持っています。 Latent Diffusion Diffusion Modelsは、多くの画像処理タスクで最先端のパフォーマンスを達成するものの、計算が非常に負荷がかかります。Latent Diffusion Modelsは、Diffusion Modelsのバリエーションであり、より少ないリソースを必要としながら、さまざまな画像ベースのタスクで高いパフォーマンスを実現することができます。 CLIP-Guidance CLIP-Guidanceは、大規模なラベル付きデータセットを必要としないテキストから3D生成の新しい方法です。CLIPなどの事前学習されたビジョン言語モデルを活用し、テキストの説明と画像を関連付けることを学ぶことができるため、研究者はそれを使用して3Dオブジェクトのテキストの説明から画像を生成します。…