２０２３年は大規模言語モデルの年でした：当時と現在の比較

２０２３年、大規模言語モデルの進化を振り返る：当時と現在の比較

<img src=”https://ai.miximages.com/opendatascience.com/wp-content/uploads/2023/11/shutterstock_2380464089.jpg”/>
<p>2023年は、『<a href=”https://www.voagi.com/distilbert-smaller-faster-cheaper-and-lighter-large-language-models.html”>大規模言語モデル</a>』の開発に前例のない急速な進展が見られました。さまざまな新しいモデルが驚くほどの速さで登場しました。そのため、これらの進展、推進者、およびこの年がもたらすものを見てみましょう。</p>
<p>年の初めに、Google AIが『<a href=”https://www.voagi.com/efficient-adaptability-in-large-language-models-through-lowrank-matrix-factorization-lora-qlora-and.html”>PaLM 2</a>』をリリースしたことで注目を集めました。PaLM 2は、5400億パラメータを持つ巨大なLLMです。PaLM 2は、テキスト生成、言語翻訳、質問応答などのさまざまなNLPタスクで注目すべき能力を発揮しました。</p>
<p>その直後に、『<a href=”https://www.voagi.com/llama-2-wikipedia-knowledge-empowered-agent-creation.html”>Meta AIのLLaMa</a>』が登場しました。LLaMaは、7B、13B、33B、および65Bのパラメータサイズを持つ基礎的なLLMです。LLaMaの汎用性とオープンソース性は、研究者や開発者にとって貴重なツールとなりました。</p>
<p>そして、新しい『<a href=”https://www.voagi.com/this-ai-paper-introduces-rmt-which-combines-retnet-and-transformer-revolutionizing-computer-vision.html”>論文</a>』が紹介されました。それがMegatron-Turing NLGです。これは、5300億パラメータのLLMで、自然言語生成のタスクに特化しています。Megatron-Turing NLGは、高品質で事実に基づき、創造的なテキストを生成する能力を示しました。さまざまなNLPベンチマークで優れたゼロショット、ワンショット、および少数の学習精度を達成します。</p>
<p>2023年3月、『<a href=”/?s=Bloom”>Bloom</a>』がデビューしました。これは、テキスト生成と言語の探索に最適化されたオープンアクセスの多言語LLMです。 Bloomの開発には、HuggingFaceのBigScienceチーム、MicrosoftのDeepSpeedチーム、NVIDIAのMegatron-LMチーム、IDRIS/GENCIチーム、PyTorchチーム、およびBigScienceエンジニアリングワーキンググループのボランティアが取り組みました。このモデルは、13のプログラミング言語と46の自然言語でテキストを生成する能力を持ち、LLMの開発における多言語の重要性が高まっていることを示しています。</p>
<p>OpenAIは、この時期にGPT-4モデルをリリースしました。前年の11月にリリースされた『<a href=”https://www.voagi.com/chatgpt-amazing-yet-overhyped.html”>ChatGPT</a>』の成功に続いて、GPT-4のリリースを待ち望む大勢のファンがいました。 GPT-4の特徴は、拡張されたコンテキストウィンドウ、多様なモダリティの処理、向上した創造性、およびより速いトレーニングと実行です。これらの機能により、GPT-4はより幅広いアプリケーションに対してより多目的で実用的になりました。</p>
<h3 id=”event—odsc-east-2024″>イベント – ODSC East 2024</h3>
<h4 id=”in-person-and-virtual-conference”>対面および仮想会議</h4>
<p><strong>2024年4月23日～25日</strong></p>
<p>最新のデータサイエンスとAIのトレンド、ツール、および技術について詳しく探求しましょう。<strong>LLMsからデータ分析、機械学習から責任あるAIまで</strong>。</p>
<p></p>
<p> </p>
<p>年後半には、Anthropicが開発したLLMベースの生成AIモデルである『<a href=”https://www.voagi.com/getting-started-with-claude-2-api.html”>Claude</a>』が登場しました。Claudeは、テキスト生成、言語翻訳、質問応答、クリエイティブなコンテンツ作成など、さまざまなAIアプリケーションにおいて強力なツールとしての地位を確立しました。</p>
<p>夏の中ごろ、GoogleがOpenAIのChatGPTに対抗するためにBardを発表しました。Bardは、1370億パラメータのLLMで、詩、コード、スクリプト、音楽、メール、手紙などのさまざまなクリエイティブなテキスト形式を生成することができます。 Bardは、開放的で挑戦的または奇妙なシナリオでも情報提供的に質問に答える能力があり、LLMモデルの高度な洗練化を示しました。</p>
<p>最後に、2023年4月の切り捨てデータウィンドウを持つ新しいChatGPT 4.5 Turboがリリースされました。これは、ChatGPTの最新版であり、サイズの大きなプロンプトを基に生成されるものが非常にすごいということが、前年3月に確認されたという点で、これまでの限界を押し上げることを期待しています。GPT-4 Turboは、最大128,000トークンのコンテキストをサポートします。ユーザーは非常に長く詳細なプロンプトを作成できます。</p>

ユーザーインターフェースはよりスマートになり、ユーザーが考えているジョブに適切なツールを選択するのを支援します。ですので、ユーザーが使用したいツールを選択するためにこれまで使用されていた馴染みのあるドロップダウンメニューではなく、AIが入力に基づいてツールを選択するようになりました。

2022年の終わりから2023年の終わりまで、大規模言語モデルの世界では革新の波が押し寄せています。主要なテック企業やスタートアップは将来が生成的なAIによって形作られることに気づいています。これは、これらのツールの市場が今後数年間で爆発的に成長すると予想されているためです。それに加えて、予想される経済的影響と組み合わせると、LLMは今後数年間で重要な役割を果たすことになります。

LLMの未来はまだ書かれている最中です。上記で言及された多くの組織がフィールドで大きな波を起こしている間にも、目立ったプロジェクトが登場する余地はまだあります。あなたとあなたのチームは、業界を変えるような大規模言語モデルを作る次の人たちになることができます！ 4月23日から25日にかけてのODSC East 2024に参加し、特にNLPとLLMに専念したトラックをチェックしましょう。既存のLLMを利用するための必要な知識や次のビッグな取り組みを構築するための知識をすべて学ぶことができます。チケットの価格が一番安いときに今すぐ登録しましょう！

• 「変革を受け入れる：AWSとNVIDIAが創発的なAIとクラウドイノベーションを進める」
• 「機械学習分類のための適合予測—基礎からのアプローチ」
• システムデザインのチートシート：ElasticSearch

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!