Search Results いくつかの

「エキスパートのミックスについて解説」

ミクストラル8x7Bのリリース（発表、モデルカード）により、トランスフォーマのクラスがオープンAIコミュニティで最も話題となっています。それがエキスパートの混合（Mixture of Experts、略してMoEs）です。このブログ記事では、MoEsの構成要素、トレーニング方法、および推論時の考慮事項について見ていきます。さあ、深く掘り下げてみましょう！目次ミクストラルとは何ですか？ MoEsの簡潔な歴史スパース性とは何ですか？ MoEsのトークンのロードバランシング MoEsとトランスフォーマスイッチトランスフォーマルータZ損失によるトレーニングの安定化エキスパートは何を学ぶのですか？エキスパートの数をスケーリングすると事前トレーニングにどのような影響を与えるのですか？ MoEsの微調整スパースMoEsと密なモデルの使用時期はいつですか？ MoEsを効果的に活用するためにエキスパート並列処理能力係数と通信コストサービングテクニック効率的なトレーニングオープンソースのMoEs ワークのエキサイティングな方向性いくつかのリソース…

ハグ顔（Hugging Face）での最新技術の組み合わせであるミクストラル（Mixtral）へようこそ

Mixtral 8x7bは、ミストラルが本日リリースした刺激的な大型言語モデルで、オープンアクセスモデルの最新技術基準を上回り、多くのベンチマークでGPT-3.5を凌駕しています。私たちは、MixtralをHugging Faceエコシステムに包括的に統合してのローンチをサポートすることに興奮しています🔥！本日リリースされる機能と統合には以下があります：ハブ上のモデル、モデルカードとライセンス（Apache 2.0） 🤗 Transformers統合推論エンドポイントとの統合高速で効率的な本番推論のためのテキスト生成推論との統合 🤗 TRLを使用した単一のGPUでのMixtralの微調整の例目次 Mixtral 8x7bとは何ですか名前についてプロンプト形式分からないことデモ推論 🤗 Transformersを使用するテキスト生成推論を使用する 🤗…

機械学習信頼性の向上：異常性がモデルのパフォーマンスと不確実性の定量化を向上させる方法

オブジェクトがそのカテゴリーの他のアイテムに似ている場合、それは典型的と見なされます。例えば、ペンギンは普通でない鳥ですが、ハトやスズメは普通の鳥です。いくつかの認知科学の研究は、典型性がカテゴリーの知識において重要であることを示唆しています。例えば、人間は普通のオブジェクトに対してより速く学習し、思い出し、関連付けるとされています。同様に、類似性ヒューリスティックは、人々が出来事がどれくらい一般的かに基づいて判断する傾向を指します。これは迅速な意思決定に役立つかもしれませんが、不正確な不確実性の評価につながる可能性もあります。例えば、普通の出来事の確率を過大評価したり、珍しい出来事についての判断の不確実性を過小評価したりするかもしれません。人間の判断の不確実性の度合いを測定することは難しいですが、機械学習の手法は予測において保証を提供します。ただし、信頼性を判断するためには信頼度だけでは十分ではない場合もあります。たとえば、低信頼度の予測は、明示的な不確実性やトレーニング分布においてサンプルの不足から生じる場合があります。同様に、高信頼度の予測は正確であるかもしれないが、誤ったキャリブレーションをしている場合もあります。彼らの主な提案は、トレーニング分布の範囲または予測の予測性を理解するために、モデルが両方の非典型性と信頼度を測定すべきであるということです。ただし、多くの機械学習アプリケーションでは、非典型性の測定ではなく、信頼度のみを提供する事前学習済みモデルが使用されます。スタンフォード大学とラトガーズ大学の研究チームは、サンプルやクラスの非典型性（稀な存在）とモデルの予測の正確性との関連を調査しています。以下は彼らの貢献です： 1. 予測品質の認識：この研究により、非典型性を考慮した推定子を使用することで、モデルの予測確率が実際の発生確率と一致するかどうかを評価できます。例えば、ロジスティック回帰やニューラルネットワークでも、調整が不正確な場合があります。ここでは、非典型性はモデルの信頼性が信頼できるかどうかに関する情報を提供できます。厳密なテストと理論的な研究によって、非典型性は予測の品質が低下することが示されています。特に、非典型な入力や非典型クラスからのサンプルでは、過度の自信と予測の精度が低下することが研究チームによって実証されました。 2. 精度とキャリブレーションの向上：確率モデルを修正することで、キャリブレーション技術によって誤キャリブレーションを軽減できます。研究チームは、モデルは異常な入力やクラスに基づいてさまざまな補正を必要とし、非典型性が再校正に重要な役割を果たすことを示しました。この調査結果に基づいて、彼らは非典型性を考慮した簡単な手法「非典型性に対する再校正」を提案しています。彼らの再校正技術は簡単に実装でき、入力やクラスの非典型性を考慮に入れます。研究チームは、非典型性を再校正技術に加えることで、予測の精度と不確実性の量子化を向上させることを実証しました。また、スキンレセプトリズムのカテゴリ分類を行う事例研究において、非典型性を意識したことが、複数のスキンタイプの性能向上に寄与することも示しました。 3. 予測セットの向上：ラベルの含まれる可能性が高い予測セットは、不確実性を評価する別の方法です。ここでは、研究チームは既存のアプローチの非典型性を検討し、低信頼度または非典型のサンプルが予測セットの性能を低下させる可能性があることを実証しています。研究チームは非典型性を使用することで予測セットの向上の可能性を示しています。総じて、研究チームはモデルに非典型性を考慮することを提案し、使用が容易である非典型性推定子が非常に価値があることを実証しています。