「GPT4の32Kを忘れてください:LongNetは10億トークンのコンテキストを持っています」

Forget about GPT4's 32K LongNet has a context of 1 billion tokens.

GPT-3とGPT-4の2048、4096、32768トークンのコンテキストの制限に疲れましたか?マイクロソフトはあなたに答えを持っているかもしれません(ポジティブな見方)

7月19日、マイクロソフトは、実用的に無制限のコンテキスト長を持つ大規模な言語モデルの開発において、大きな進歩と見なされている論文を発表しました。マイクロソフトは、理論的に10億トークンまでスケーリングできるトランスフォーマーモデルを提案・開発しました。これにより、大規模な言語モデルの実用的な使用例である「コンテキスト長制限」が取り除かれました。

この記事では、以下の内容を説明します。

  1. 大規模な言語モデル(LLM)
  2. 覚えていますか?コンテキストは重要です
  3. より大きなコンテキストを実現する方法
  4. 現在のLLM用ネットワーク
  5. スケーリングの難しさ
  6. マイクロソフトの解決策LongNet
  7. 分散トレーナー
  8. 1Bトークンへのスケーリングの結果と検証
  9. まとめ

それでは、始めましょう。

大規模な言語モデル(LLM)

大規模な言語モデルは、深層学習モデルであり、数百万、場合によっては数十億のパラメータを持っています。これらのモデルは一般的にインターネットからの「一般のテキスト」コーパスで訓練されます。このようなコーパスは最大で1兆のトークンを持つ場合があります(つまり、インターネット上に存在するテキストは、大規模な言語モデルの訓練に使用されました)。

与えられた文字列内の各単語が他の単語と接続された大きな行列を想像してみてください。簡単に言えば、これがセルフアテンションです。より強い関係を持つ単語や単語の配置に関心があります。なぜなら、弱い関係よりも次の単語をより良く予測できるからです。関係は3層深くても30層深くても、大局的な観点では問題ありません。重要なのは、セルフアテンションが(少なくとも一部では)次のトークンを決定することです。トークンは単語または単語の一部であり、文の機能的な単位の同義語としてよく使用されます。

したがって、大規模な言語モデルは、入力テキストを与えると、その地図に基づいて出力が生成される言語の地図を作成します。この地図は非常に複雑です。この地図は一般的に次のように表されます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

ピーター・マッキー、Sonarの開発者担当責任者-インタビューシリーズ

ピーター・マッキーはSonarのDeveloper Relationsの責任者です Sonarは、悪いコードの1兆ドルの課題を解決するプラットフォー...

人工知能

「サティスファイラボのCEO兼共同創設者、ドニー・ホワイト- インタビューシリーズ」

2016年に設立されたSatisfi Labsは、会話型AI企業のリーディングカンパニーです早期の成功は、ニューヨーク・メッツ、メイシ...

人工知能

「シフトのCEOであるクリス・ナーゲル – インタビューシリーズ」

クリスはSiftの最高経営責任者です彼は、Ping Identityを含むベンチャー支援および公開SaaS企業のシニアリーダーシップポジシ...

機械学習

もし芸術が私たちの人間性を表現する方法であるなら、人工知能はどこに適合するのでしょうか?

MITのポストドクターであるジヴ・エプスタイン氏(SM '19、PhD '23)は、芸術やその他のメディアを作成するために生成的AIを...

人工知能

「トリントの創設者兼CEO、ジェフ・コフマンへのインタビューシリーズ」

ジェフ・コーフマンは、ABC、CBS、CBCニュースで30年のキャリアを持った後、Trintの創設者兼CEOとなりましたジェフは手作業の...

人工知能

『ジュリエット・パウエル&アート・クライナー、The AI Dilemma – インタビューシリーズの著者』

『AIのジレンマ』は、ジュリエット・パウエルとアート・クライナーによって書かれましたジュリエット・パウエルは、著者であ...