「GPT4の8つの小さなモデルはどのように機能するのですか？」

GPT4の8つのモデルの機能方法は？

秘密の「エキスパートのモデル」が明らかになった。なぜGPT4がこんなに優れているのか理解しましょう！

近年、ディープラーニングモデルが話題となっています。すべての企業がそれを開発しています。そして、最も大きくて最も強力なモデルを求める競争が始まりました！私たちはみんな、以下のようなモデルのサイズを示すグラフを見ました。

私たちはチンチラ、GPT-3、PaLMなどを比較しました。この間、MicrosoftとOpenAIはGPT-4に取り組んでいました。彼らはGPT-4の開発についての緊張感を作り出しました。みんながGPT-4が最初の1兆パラメーターモデルになるだろうと推測しました。GPT-3モデルのパフォーマンスを改善する余地はほとんどありませんでしたが、私たちはGPT-4に多くの期待を寄せました。そして、ニュース/噂が現実のものとなりました。GPT-4は実際には1つのモデルではなく、2200億パラメーターの8つの小さなモデルが協力して1.6兆から1.7兆のパラメーターの巨大なモデルを生成していることが判明しました。

GPT-4：8つのモデルが1つに；秘密が明かされました

GPT4は競争を避けるためにモデルを秘密にしていましたが、今は秘密が明らかになりました！

pub.towardsai.net

8つのモデルはどのように協力しているのか？

この質問に答えるために、私たちは過去にさかのぼる必要があります。33年前の1991年、Robert A. Jacobs、Michael I. Jordan、Steven J. Nowlan、そしてAIの教父であるGeoffrey Hintonは、「Adaptive Mixtures of Local Experts」という論文を書きました。

• 「即興演劇処方箋：アナリティクス実践者が変革を実現するために即興演劇を活用する方法」
• 「これらの仕事はAIによって置き換えられると考える人もいる私たちは異論を唱えます」
• 「グラミー賞のCEOによる新しいAIポリシーの概要」

彼らは次のように書いています。

「私たちは、多くの別々のネットワークからなるシステムのための新しい教師あり学習手法を提案します。各ネットワークは、完全なトレーニングケースのサブセットを処理するように学習します。この新しい手法は、多層の教師ありネットワークのモジュール版としても、競争学習の連想版としても見ることができます。したがって、これら2つの明らかに異なるアプローチの新しいリンクを提供します。私たちは、学習手法が母音識別タスクを適切なサブタスクに分割し、それぞれを非常に単純なエキスパートネットワークによって解決できることを実証します。」

それはどういう意味ですか？確認してみましょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!