「非営利研究者による人工知能(AI)の進展リスト」

『美容とファッションの分野における人工知能(AI)の進展リスト』

去年遅くから今年にかけて、2023年はAIの人々がAIアプリケーションを作成するのに最適な時期であり、これは非営利の研究者によるAIの進歩リストのおかげです。以下にそのリストを示します。

ALiBi

ALiBiはTransformersにおけるテキストの推測問題に効率的に取り組む方法であり、学習に使用されたものよりも長いテキストシーケンスを推測する際に適用されます。ALiBiは実行時間に影響を与えず、追加のパラメータも必要とせず、既存のTransformerコードの数行を変更するだけで推測を行うことができる実装が容易なメソッドです。

Scaling Laws of RoPE-based Extrapolation

この方法は、Transformerの推測能力を向上させるためのフレームワークです。研究者は、Rotary Position Embedding(RoPe)ベースのLLMを事前学習の文脈長でより小さなまたは大きなベースで微調整すると、より良いパフォーマンスが得られることを発見しました。

FlashAttention

Transformersは、テキスト情報を処理できる強力なモデルですが、大規模なテキストシーケンスで作業する場合には大量のメモリが必要とされます。FlashAttentionは、既存の基準よりも高速でTransformerをトレーニングする、入出力(IO)を考慮したアルゴリズムです。

Branchformer

Conformers(Transformerの一種)は音声処理に非常に効果的です。それらは畳み込み層とセルフアテンション層を順次使用するため、そのアーキテクチャは解釈しづらいものとなっています。Branchformerは、エンコーダの代替手法であり、柔軟で解釈可能であり、エンドツーエンドの音声処理タスクにおいて依存関係をモデル化するための並列ブランチを持っています。

Latent Diffusion

Diffusion Modelsは、多くの画像処理タスクで最先端のパフォーマンスを達成するものの、計算が非常に負荷がかかります。Latent Diffusion Modelsは、Diffusion Modelsのバリエーションであり、より少ないリソースを必要としながら、さまざまな画像ベースのタスクで高いパフォーマンスを実現することができます。

CLIP-Guidance

CLIP-Guidanceは、大規模なラベル付きデータセットを必要としないテキストから3D生成の新しい方法です。CLIPなどの事前学習されたビジョン言語モデルを活用し、テキストの説明と画像を関連付けることを学ぶことができるため、研究者はそれを使用して3Dオブジェクトのテキストの説明から画像を生成します。

GPT-NeoX

GPT-NeoXは、200億のパラメータで構成される自己回帰言語モデルです。様々な知識ベースや数学タスクで合理的なパフォーマンスを発揮します。モデルの重みは一般に公開されており、さまざまな分野での研究を促進するために利用できます。

QLoRA

QLoRAはメモリ使用量を効率的に減らす細調整手法であり、48GBの単一のGPU上で65兆のパラメータモデルを最適なタスクパフォーマンスを維持しながら完全な16ビット精度で細調整することができます。QLoRAの細調整を通じて、モデルは状態-of-the-artの結果を達成し、以前のSoTAモデルを上回ることができます。

RMKV

Receptance Weighted Key Value(RMKV)モデルは、Transformerと再帰ニューラルネットワーク(RNN)の強みを活用しながら、同時にそれらの主な欠点を回避する新しいアーキテクチャです。RMKVは、同様のサイズのTransformerと比較可能なパフォーマンスを提供し、将来的により効率的なモデルの開発の道を開いています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「CassIO OpenAIに触発されたジェネラティブAIのための最高のライブラリ」

ChatGPTは直感的で使いやすいライブラリを備えているため、開発者のエクスペリエンスを変革しましたそのため、あなたの開発ニ...

データサイエンス

「データサイエンス、機械学習、コンピュータビジョンプロジェクトを強化する 効果的なプロジェクト管理のための必須ツール」

「機械学習またはデータサイエンスのプロジェクトは非常に大規模であり、多くの種類のファイルや多様なアーキテクチャを含ん...

機械学習

ハイパーヒューマンに会ってください:潜在的な構造拡散を用いたハイパーリアルな人間生成のための新しいAIフレームワーク

ユーザーが指定した条件(テキストやポーズなど)に基づいて超リアルな人間のイメージを生成することは、画像アニメーション...

AIニュース

モデルレジストリとAmazon SageMakerモデルカードを統合する

「Amazon SageMakerモデルカードにより、モデルのドキュメント化方法を標準化し、モデルの設計、構築、トレーニング、評価な...

データサイエンス

Salesforceは、データ駆動型のAIとCRMを通じて生産性と顧客の信頼性を高める、新しいEinstein 1プラットフォームを発表しました

顧客データは混乱しています。組織は通常、1,061の独自のアプリケーションを使用していますが、そのうちの29%しか本当に統合...

機械学習

「AnimateDiffとは モデル特有の調整なしでパーソナライズされたテキストからイメージ(T2I)モデルをアニメーション生成器に拡張するための効果的なAIフレームワーク」

テキストから画像(T2I)生成モデルは、研究コミュニティ内外から前例のない注目を集めており、芸術家やアマチュアなどの非研...