Search Results T5

中国の研究者が提案する、新しい知識統合における大規模言語モデルの評価における画期的な人工知能ベンチマーク「ALCUNA」

大規模言語モデル（LLM）の新しい知識の取り扱い能力を評価することは困難です。北京大学の研究者たちは、既存のエンティティの属性と関係を修正することで新しい知識を生成する方法であるKnowGenを紹介しました。ALCUNAというベンチマークは、LLMの知識理解と区別能力を評価します。彼らの研究では、LLMは新しい知識と既存の知識の推論に苦労することが明らかになりました。新しいシナリオにLLMを適用する際の注意の重要性を強調し、新しい知識の取り扱いにおけるLLMの開発を促します。 FLAN-T5、GPT-3、OPT、LLama、GPT-4などのLLMは、商業製品に応用されるさまざまな自然言語タスクで優れた成果を収めてきました。既存のベンチマークは彼らのパフォーマンスを評価していますが、既存の知識に依存しています。研究者たちは、Know-GenとALCUNAベンチマークを提案し、LLMの新しい知識の取り扱いを評価することで、新しいシナリオや専門知識でLLMを使用する際の注意が必要であり、この文脈での開発を促進することを目指しています。 LLMはさまざまなタスクで優れた成果を収めていますが、既存のベンチマークでは新しい知識の取り扱い能力を測定する必要があるかもしれません。進化する情報のために、LLMの新しい知識の取り扱いの評価は重要です。重複する訓練データとテストデータはメモリの評価に影響を与える可能性があります。新しい知識のベンチマークを構築することは困難ですが、必要です。 Know-Genは、エンティティの属性と関係を修正することで新しい知識を生成する方法です。ゼロショットとフューショットの手法、およびCoT推論形式でLLMを評価します。彼らの研究では、人工的なエンティティの類似性が親エンティティに与える影響、属性と名前の類似性の評価を探究しています。ChatGPT、Alpaca-7B、Vicuna-13B、ChatGLM-6Bなどの複数のLLMがこれらのベンチマークで評価されます。新しい知識の取り扱いを評価するALCUNAベンチマークでLLMのパフォーマンスがもっと良くなると良いです。ChatGPTが最も優れており、Vicunaが2番目に優れたモデルです。フューショット設定は一般的にゼロショットを上回り、CoT推論形式が優れています。LLMは知識の関連付けとマルチホップの推論に最も苦労しています。エンティティの類似性が彼らの理解に影響を与えます。彼らの方法は、LLMの新しい知識を評価することの重要性を強調し、この文脈での進歩を促すためにKnow-GenとALCUNAベンチマークを提案しています。提案されたメソッドは生物学データに限定されていますが、本体論的表現に従う他のドメインでも応用可能性があります。クローズドソースモデルとスケールのため、評価はわずかなLLMモデルに制約されており、より広範なモデルで評価する必要があります。LLMの新しい知識の取り扱いを強調していますが、現行ベンチマークの制限の詳細な分析は不足しています。また、Know-Genアプローチを使用した新しい知識の生成やLLMの新しい知識のコンテキストでの責任ある使用に関連する潜在的なバイアスや倫理的な影響には触れていません。 KnowGenとALCUNAベンチマークは、LLMの新しい知識の取り扱いを評価するのに役立ちます。ChatGPTが最も優れており、Vicunaが2番目に優れたモデルですが、LLMの新しい知識と既存の知識の推論においてパフォーマンスはもっと良くなると良いです。フューショット設定はゼロショットを上回り、CoT推論が優れています。LLMは知識の関連付けに苦労しており、さらなる開発の必要性が強調されます。LLMを新しい知識とともに使用する際には注意が必要であり、これらのベンチマークがこの文脈でのLLMの開発を進めることが期待されています。

シュナイダーエレクトリックは、SageMakerでのリトリーバルアグメントドLLMsを活用して、ERPシステムのリアルタイムの更新を確実にしています

この投稿は、Schneider ElectricのNorth America Artificial IntelligenceのソリューションエンジニアリングおよびアーキテクチャのマネージャーであるAnthony Medeirosと、ビジネスインテリジェンスマネージャーのBlake Santschiによって共同執筆されましたその他のSchneider Electricの専門家には、Jesse Miller、Somik Chowdhury、Shaswat Babhulgaonkar、David Watkins、Mark Carlson、およびBarbara Sleczkowskiが含まれます企業資源計画（ERP）システムは、企業が使用するものです...

人間のフィードバックからの強化学習（RLHF）

たぶん、あなたはこの技術について聞いたことがあるかもしれませんが、完全には理解していないかもしれません特にPPOの部分についてですこの説明がお手伝いできるかもしれません私たちはテキストからテキストへの言語モデルに焦点を当てます 📝 例えば...

『トランスフォーマーの位置符号化の解説』

元のトランスフォーマーアーキテクチャでは、位置エンコーディングが入力と出力の埋め込みに追加されました位置エンコーディングは、トランスフォーマーにおいて重要な役割を果たし、それらが…

「Amazon SageMaker JumpStartを使用して、2行のコードでファウンデーションモデルを展開して微調整する」

「Amazon SageMaker JumpStart SDKのシンプル化されたバージョンの発表をお知らせすることを楽しみにしていますこのSDKを使用することで、基礎モデルの構築、トレーニング、デプロイが簡単に行えます予測のためのコードも簡略化されていますこの記事では、わずか数行のコードで基礎モデルの使用を開始するために、簡略化されたSageMaker JumpStart SDKの使用方法をご紹介します」

「分散データパラレル（DDP）の包括的ガイド」

みなさんこんにちは！私はメタの研究科学者、フランソワです新しいチュートリアルシリーズ「素晴らしいAIチュートリアル」の一部として、ようこそお越しくださいましたこのチュートリアルでは、よく知られているテクニックの1つである…を解説していきます

「Inside LlaVA GPT-4Vのオープンソースの最初の代替案」

数週間前、OpenAIはGPT-4で新しい画像および音声処理の機能を公開しました基本的に、AIラボはGPT-4 Vision（GPT-4V）という新しいモデルを発表しましたこれによってユーザーは指示をすることができます...

フリーユーについて紹介します：追加のトレーニングや微調整なしで生成品質を向上させる新しいAIテクニック

確率的拡散モデルは、画像生成モデルの最新のカテゴリであり、特にコンピュータビジョンに関連するタスクにおいて研究の重要な焦点となっています。確率的拡散モデルは、Variational Autoencoder（VAE）、Generative Adversarial Networks（GAN）、およびベクトル量子化アプローチなど、他の画像生成モデルのクラスとは異なる新しい生成パラダイムを導入しています。これらのモデルは、潜在空間をマッピングするために固定マルコフ連鎖を使用し、データセット内の潜在的な構造的複雑さを捉える複雑なマッピングを可能にします。最近では、高い詳細レベルから生成される例の多様性までを含む印象的な生成能力により、画像合成、画像編集、画像から画像への変換、テキストからビデオへの変換など、さまざまなコンピュータビジョンの応用で突破的な進展が生まれています。確率的拡散モデルは、拡散プロセスとノイズ除去プロセスの2つの主要なコンポーネントで構成されています。拡散プロセスでは、ガウスノイズが段階的に入力データに組み込まれ、徐々に純粋なガウスノイズに変換されます。対照的に、ノイズ除去プロセスは、学習された逆拡散操作のシーケンスを使用して、ノイズのある状態から元の入力データを復元することを目指します。通常、各ノイズ除去ステップごとにノイズの取り除きを予測するために、U-Netが使用されます。既存の研究は、主にダウンストリームの応用で事前学習された拡散U-Netの使用に焦点を当てており、拡散U-Netの内部特性の限られた探求を行っています。 S-Labと南洋理工大学の合同研究は、拡散モデルの従来の応用からの脱却を図り、拡散U-Netのノイズ除去プロセスにおける効果を調査しています。ノイズ除去プロセスのさらなる理解を得るため、研究者たちは、拡散モデルの生成プロセスを観察するためにフーリエドメインへのパラダイムシフトを導入しています。これは比較的未開拓の研究領域です。上の図は、最上段における進行性のノイズ除去プロセスを示し、次に示される2つの行は、各ステップごとに対応する逆フーリエ変換後の低周波数および高周波数空間ドメイン情報を示しています。この図からは、低周波成分の漸進的な変調が示され、変調は緩やかな率で行われていることがわかります。一方、高周波成分は、ノイズ除去プロセス全体を通じてより顕著なダイナミクスを示しています。これらの結果は、直感的に説明することができます。低周波成分は、画像のグローバルな構造と特性を表しており、グローバルなレイアウトや滑らかな色を含んでいます。これらの成分に大きな変更を加えることは、画像の本質を根本的に変える可能性があるため、ノイズ除去プロセスでは一般的には適していません。一方、高周波成分は、エッジやテクスチャなどの画像の急速な変化を捉え、ノイズに非常に敏感です。ノイズ除去プロセスでは、これらの複雑なディテールを保持しながらノイズを除去する必要があります。ノイズ除去時の低周波成分と高周波成分に関するこれらの観察を考慮すると、調査は拡散フレームワーク内のU-Netアーキテクチャの具体的な貢献を特定するために広がります。U-Netデコーダの各段階では、スキップコネクションとバックボーンからのスキップフィーチャーが組み合わされます。研究は、U-Netの主要なバックボーンがノイズ除去において重要な役割を果たしている一方、スキップコネクションはデコーダモジュールに高周波フィーチャーを導入し、微細なセマンティック情報の回復に役立っていることを明らかにしました。ただし、この高周波フィーチャーの伝播は、推論フェーズにおいてバックボーンの固有のノイズ除去能力を損なう可能性があり、異常な画像の詳細の生成につながることがあります（図1の最上段に示されています）。この発見を踏まえ、研究者らは追加の計算コストの要求やトレーニング・ファインチューニングの必要性を伴わずに生成されたサンプルの品質を向上させる「FreeU」と呼ばれる新しいアプローチを提案しています。以下に、そのフレームワークの概要を報告します。推論フェーズにおいて、U-Netアーキテクチャの主要なバックボーンとスキップ接続からの特徴の寄与のバランスを取るために、2つの専門的な変調因子が導入されます。最初の変数である「バックボーン特徴因子」は、主要なバックボーンの特徴マップを増幅させるために設計され、ノイズ除去プロセスを強化します。しかし、バックボーン特徴のスケーリング因子を含めることは、著しい改善をもたらす一方で、時折、望ましくないテクスチャのオーバースムージングを引き起こすことが観察されます。この懸念に対処するために、2つ目の因子である「スキップ特徴のスケーリング因子」が導入され、テクスチャのオーバースムージングの問題を軽減します。 FreeUフレームワークは、テキストから画像生成やテキストから動画生成などのアプリケーションを含む既存のディフュージョンモデルとシームレスに統合する柔軟性を示します。Stable Diffusion、DreamBooth、ReVersion、ModelScope、およびRerenderなどの基礎モデルを使用し、この手法の包括的な実験評価がベンチマーク比較において行われます。FreeUが推論フェーズで適用されると、これらのモデルは生成された出力の品質の noticeable な向上を示します。以下の図で示される視覚的な表現は、FreeUが生成された画像の細かいディテールと全体的なビジュアルの忠実度を著しく向上させる効果を証明しています。これは、追加のトレーニングやファインチューニングを必要とせずに生成モデルの出力品質を向上させる新しいAIテクニックであるFreeUの概要でした。興味があり、さらに詳しく知りたい場合は、以下の引用リンクを参照してください。

PEFTの概要：最先端のパラメータ効率の良い微調整の概要

「LoRAなどのパラメーター効率の高いファインチューニングテクニックを学んで、限られた計算リソースを使って大規模な言語モデルを効率的に適応させる方法を習得しましょう」

Machine learning

FineShare Review 2023年の最高の人工知能仮想カメラは？

「FineShareのレビューを通じて、最高のAI仮想カメラをご紹介しますその特徴、メリット、デメリットを詳しく分析します」

fineshare

Learn more about Search Results T5 - Page 11