「ChatGPTの王座陥落：クロードが新しいAIリーダーとなった経緯」

ChatGPT How Claude Became the New AI Leader

 

ここ数ヶ月の間に、AIの連続的な突破に慣れてきました。

しかし、これまでにない記録を打ち立て、以前の10倍の基準を設定したという発表には驚きました。それがAnthropicの最新バージョンのチャットボットクロードです。ChatGPTの最大の競合相手です。

これはまさに周りのすべてを恥じさせるものです。

• 「ジャスティン・マクギル、Content at Scaleの創設者兼CEO – インタビューシリーズ」
• Pythonを使用してDLISファイルの内容を探索する
• 「スローリー・チェンジング・ディメンション（SCD）の秘密を解き放つ：8つのタイプの包括的な見方」

今では、テキストや情報検索の数時間をわずかな秒数に変えることができます。単なる対話エージェントから、あなたの人生や周りの人々に本当に画期的なツールとなる生成型AIチャットボットに進化させることができます。

 

ステロイドを使用したチャットボット、そして善を追求したチャットボット

 

GenAIによって、テキストや画像などを生成するAIの可能性を広げました。

しかし、技術にはいつもトレードオフが伴います。GenAIモデルには、何が「良い」か「悪い」かの判断力が欠けているという問題があります。

実際には、これらのモデルは、ほとんどの場合、議論の余地のあるバイアスや疑わしいコンテンツを隠している人間によって生成されたデータを模倣することによってテキストを生成する能力を獲得しています。

残念なことに、これらのモデルはより大きくなるにつれて性能が向上するため、コンテンツに関係なく、可能な限りあらゆるテキストを提供するという誘惑が特に大きくなります。

そして、これは大きなリスクを引き起こします。

 

アラインメントの問題

 

判断力がないため、基本的な大規模言語モデル（base LLMs）は特に危険です。なぜなら、彼らは訓練データが隠しているバイアスを学習してしまい、その行動を再現してしまうからです。

例えば、データが人種差別に偏っている場合、これらのLLMsはそれの具現化となってしまいます。同様に、ホモフォビアや他の種類の差別も同様です。

したがって、多くの人々がインターネットを自分の倫理性と道徳性の限界をテストする完璧な遊び場と見なしていることを考えると、LLMsがガードレールもなくほとんどインターネット全体を訓練データとして学習しているという事実は、潜在的なリスクについてのすべてを物語っています。

幸いなことに、ChatGPTのようなモデルは、人間が「適切」と考える応答にそれらの応答を合わせることで、これらの基本モデルの進化を遂げています。

これは、「人間のフィードバックに対する強化学習」と呼ばれる報酬メカニズムを使用して行われました。

特に、ChatGPTはOpenAIのエンジニアの指導によってフィルタリングされ、非常に危険なモデルから、バイアスが少なくなり、指示に従う能力が高まったものに変わりました。

当然のことながら、OpenAIのエンジニアが世界中の人々のために何が良いか悪いかを決めるべきではありません。なぜなら、彼らにもバイアス（文化的、民族的など）があるからです。

結局のところ、最も徳のある人間にもバイアスが存在するのです。

言うまでもなく、この手順は完璧ではありません。

実際に、これらのモデルは、彼らの主張されたアラインメントにもかかわらず、多くのユーザーに対して不正な行動をとることがあります。これはBingでも多くの人々が経験し、事態が悪化する前にマイクロソフトが相互作用の文脈をわずかな数のメッセージに制限する必要が生じた理由です。

これらすべてを考慮すると、Anthropicを創設した2人の元OpenAIの研究者は、別のアイデアを持っていました…彼らはAIを使用してモデルをアラインメントすることで、自己アラインメントというまったく革新的なコンセプトを実現することにしました。

 

マサチューセッツからAIへ

 

まず、チームは、世界人権宣言やAppleの利用規約などを含む憲法を起草しました。

これにより、モデルは単なる言語モデルと同様に文の次の単語を予測することを教えられただけでなく、「何を言ってはいけないか」を決める憲法を考慮に入れなければなりませんでした。

次に、人間ではなく実際のAIがモデルの整列を担当し、人間のバイアスから解放される可能性があります。

しかし、Anthropicが最近発表した重要なニュースは、彼らのモデルを人間が許容し、AIと利用できるものに整列させるという概念ではありません。重要なのは、最近の発表でClaudeがGenAI戦争で揺るぎない主役になったということです。

具体的には、そのコンテキストウィンドウを9,000トークンから100,000トークンに増やしました。これは比類のない改善であり、非常に重要な意味を持ちます。

しかし、これはどういう意味で、これにはどんな意味があるのでしょうか？

 

トークンについて

 

言っておきますが、この「トークン」という概念の重要性を無視することはできません。多くの人が言うように、LLM（言語モデル）は文字列の次の単語を予測するのではありません。

応答を生成する際、LLMは次のトークンを予測します。通常、1つのトークンは3〜4文字で表され、次の単語を予測するわけではありません。

これらのトークンは単語を表す場合がありますし、複数のトークンで構成されることもあります（参考までに、100個のトークンは約75語に相当します）。

ChatGPTなどのモデルでは、推論を実行する際に、与えられたテキストを部分に分割し、一連の行列計算を行います。これはセルフアテンションという概念で、テキスト内の異なるトークンを組み合わせて、各トークンが他のトークンにどのように影響を与えるかを学習します。

このようにして、モデルはテキストの意味と文脈を「学習」し、それに基づいて応答を生成できるようになります。

問題は、このプロセスがモデルにとって非常に計算量の多いものであるということです。

具体的には、計算要件は入力の長さに対して二次的に増加するため、与えられたテキストの長さであるコンテキストウィンドウが長いほど、モデルのトレーニングと推論にかかるコストが高くなります。

これにより、研究者はこれらのモデルに許容される入力のサイズを2,000〜8,000トークン（約6,000語）の標準的な比率の範囲に大幅に制限する必要がありました。

予想通り、コンテキストウィンドウの制約はLLMの能力を大幅に制限し、それらをわずかなことに役立つ面白いツールにしてしまいました。

しかし、なぜこのコンテキストウィンドウの拡大がLLMの最大のポテンシャルを開放するのでしょうか？

それは非常にシンプルです。なぜなら、それによってLLMの最も強力な機能であるインコンテキスト学習が可能になるからです。

 

学習なしでの学習

 

言い換えれば、LLMは「その場で」学習できるという珍しい能力を持っています。

LLMを訓練することは、コストがかかり、危険です。特に、訓練にはデータを提供する必要がありますが、それはプライバシー保護の観点からは最善の選択肢ではありません。

また、新しいデータが毎日現れますので、モデルを常に微調整（追加トレーニング）する必要があるとすると、LLMのビジネスケースは完全に崩壊します。

幸いなことに、LLMはインコンテキスト学習という概念に優れています。これは、モデルの重みを実際に変更せずに学習できる能力です。

言い換えれば、必要なデータを同時に提供するだけで、クエリに対する回答を学習することができます。モデルをトレーニングする必要はありません。

この概念は、ゼロショット学習またはフューショット学習とも呼ばれ（データを見る必要がある回数によって異なる）、LLMが以前まで見たことのないデータを使って正確に応答する能力です。

したがって、コンテキストウィンドウが大きければ大きいほど、与えられるデータが多くなり、より複雑なクエリに対応できるようになります。

したがって、チャットや他のより単純なタスクには小さいコンテキストウィンドウがまあまあでしたが、真に強力なタスクを処理することは完全に不可能でした… これまでは。

 

スターウォーズサーガを数秒で

 

要点を述べます。

先ほど述べたように、最新バージョンのClaude、バージョン1.3では、一度に100,000トークン、または約75,000語を処理できるようになりました。

しかし、それだけでは多くを語っていませんよね？

75,000語がどのくらいのものであるか、もっと具体的に説明しましょう。

 

フランケンシュタインからアナキンまで

 

今読んでいる記事は2,000語以下です。これはクロードが一度に摂取できる量の約37.5倍も少ないです。

しかし、どのような同等の例があるのでしょうか？具体的に言うと、75,000語は以下のようなものを表しています：

• Mary Shelleyのフランケンシュタインの本の全長くらい
• 全体で76,944語のハリー・ポッターと賢者の石
• クロニクル・オブ・ナルニアのどの本でも、すべてより少ない語数
• そして最も印象的な数値は、スターウォーズの映画8作分の対話を含むのに十分な量です…合計で

さて、数秒のうちに、あなたが任意のテキストについて質問する力を持つチャットボットを考えてみてください。

たとえば、最近、ジョン・コーマックの5時間の長いポッドキャストをクロードに与えた動画を見ました。このモデルは、全体のポッドキャストをわずかな言葉で要約するだけでなく、5時間の話し合いの中で特定の瞬間に言われた特定の内容を指摘することもできるということです。

このモデルが75,000語のテキストでこれを行うことができるということは理解できますが、もっと驚くべきことは、これが初めて見るデータでも機能するということです。

間違いなく、これは学生、弁護士、研究者、そして基本的に多くのデータを同時に処理する必要があるすべての人にとっての最高の解決策です。

これは私にとって、AIにおける数少ないパラダイムシフトです。

間違いなく、LLMにとって真に破壊的なイノベーションの扉が開かれました。

数か月でAIがどれだけ変わったか、そして毎週どれだけ急速に変化しているかは信じられません。そして、わかっていることは、それがトークンごとに変化しているということだけです。

    Ignacio de Gregorio Noblejasは、テクノロジーセクターで5年以上の包括的な経験を持ち、現在はトップティアのコンサルティング会社でマネジメントコンサルティングマネージャーとしての地位を保持しています。彼は技術の導入やデジタルトランスフォーメーションイニシアチブに関する戦略的な指導を提供することにおいて堅固なバックグラウンドを開発しています。彼の専門知識はコンサルティングに限られているわけではなく、彼の自由な時間には広い観客と彼の深い洞察を共有しています。彼はVoAGIや彼の週刊ニュースレターTheTechOasisを通じて、人工知能（AI）の最新の進展について積極的に教育し、他の人々にインスピレーションを与えています。それぞれのオーディエンスは11,000人以上と3,000人以上です。

  元の記事。許可を得て再掲載しています。  

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!