「GPT4の8つの小さなモデルはどのように機能するのですか?」

GPT4の8つのモデルの機能方法は?

秘密の「エキスパートのモデル」が明らかになった。なぜGPT4がこんなに優れているのか理解しましょう!

近年、ディープラーニングモデルが話題となっています。すべての企業がそれを開発しています。そして、最も大きくて最も強力なモデルを求める競争が始まりました!私たちはみんな、以下のようなモデルのサイズを示すグラフを見ました。

Source: Ref

私たちはチンチラ、GPT-3、PaLMなどを比較しました。この間、MicrosoftとOpenAIはGPT-4に取り組んでいました。彼らはGPT-4の開発についての緊張感を作り出しました。みんながGPT-4が最初の1兆パラメーターモデルになるだろうと推測しました。GPT-3モデルのパフォーマンスを改善する余地はほとんどありませんでしたが、私たちはGPT-4に多くの期待を寄せました。そして、ニュース/噂が現実のものとなりました。GPT-4は実際には1つのモデルではなく、2200億パラメーターの8つの小さなモデルが協力して1.6兆から1.7兆のパラメーターの巨大なモデルを生成していることが判明しました。

GPT-4:8つのモデルが1つに;秘密が明かされました

GPT4は競争を避けるためにモデルを秘密にしていましたが、今は秘密が明らかになりました!

pub.towardsai.net

8つのモデルはどのように協力しているのか?

この質問に答えるために、私たちは過去にさかのぼる必要があります。33年前の1991年、Robert A. Jacobs、Michael I. Jordan、Steven J. Nowlan、そしてAIの教父であるGeoffrey Hintonは、「Adaptive Mixtures of Local Experts」という論文を書きました。

彼らは次のように書いています。

「私たちは、多くの別々のネットワークからなるシステムのための新しい教師あり学習手法を提案します。各ネットワークは、完全なトレーニングケースのサブセットを処理するように学習します。この新しい手法は、多層の教師ありネットワークのモジュール版としても、競争学習の連想版としても見ることができます。したがって、これら2つの明らかに異なるアプローチの新しいリンクを提供します。私たちは、学習手法が母音識別タスクを適切なサブタスクに分割し、それぞれを非常に単純なエキスパートネットワークによって解決できることを実証します。」

それはどういう意味ですか?確認してみましょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

OpenAIのCEOであるSam Altman氏:AIの力が証明されるにつれて、仕事に関するリスクが生じる

OpenAIのCEOであるSam Altmanは、特に彼の作品であるChatGPTに関するAIの潜在的な危険性について公言してきました。最近のイ...

人工知能

「aiOlaのCEO兼共同創設者、アミール・ハラマティによるインタビューシリーズ」

アミール・ハラマティは、aiOlaのCEO兼共同創業者であり、スピーチを作業可能にし、どこでも完全な正確さで業界固有のプロセ...

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

データサイエンス

「David Smith、TheVentureCityの最高データオフィサー- インタビューシリーズ」

デビッド・スミス(別名「デビッド・データ」)は、TheVentureCityのチーフデータオフィサーであり、ソフトウェア駆動型のス...

機械学習

3つの質問:大規模言語モデルについて、Jacob Andreasに聞く

CSAILの科学者は、最新の機械学習モデルを通じた自然言語処理の研究と、言語が他の種類の人工知能をどのように高めるかの調査...

人工知能

ファイデムのチーフ・プロダクト・オフィサー、アルパー・テキン-インタビューシリーズ

アルパー・テキンは、FindemというAI人材の獲得と管理プラットフォームの最高製品責任者(CPO)ですFindemのTalent Data Clou...