「生成AI、基礎モデル、および大規模言語モデルの世界を探求する：概念、ツール、およびトレンド」

Exploring the world of generative AI, foundational models, and large-scale language models concepts, tools, and trends.

人工知能（AI）は、深層学習の進歩によって近年大きな進歩を遂げています。昨年のChatGPTの登場により、生成型AIの世界の人気が上昇し、Foundation Models、Large Language Models、GPT-3とGPT-4、PaLMとPaLM 2、LLaMAとLLaMA 2、Falcon、ChatGPT、Bard、Claude 2などの混乱を引き起こす単語が増えました。この記事は、生成型AIに関する概念をより理解し、トレンドとツールを探求する意図であり、この記事自体はその内容については完全ではなく、テキストコンテンツに焦点を当てています。

生成型AIは、テキスト、画像、ビデオ、音声、構造などの新しいコンテンツを生成することができる深層学習モデルを指す生成型AIのサブフィールドです。

Foundation Modelsは、さまざまなドメインで複数のタスクを実行するために適応することができる一般的な表現を学習するために、非教示的な方法で大量の非構造化データでトレーニングされる生成型AIの一種です。これらは、多くの異なるAIアプリケーションを構築するための基盤を提供することを目指しています。Foundation Modelsは、タスク固有のデータでトレーニングされた従来のAIモデルに比べてパフォーマンス、効率性、スケーラビリティに優れています。

たとえば、気候変動の目的に合わせてFoundation Modelsを構築することができます。これにより、地理空間データを使用して気候研究を改善することができます。また、コーディングのためのFoundation Modelsの開発も、コードの補完を支援するのに役立ちます。

• この人工知能論文は、画像認識における差分プライバシーの高度な手法を提案し、より高い精度をもたらします
• 「DiffusionDet 物体検出のために拡散を使用する人工知能（AI）モデルを紹介します」
• 「人工知能（AI）におけるアナログコンピュータの使用」

Large Language Models（LLMs）は、テキストの生成と理解に焦点を当てたFoundation Modelsのサブセットです。これらは、膨大なテキストデータでトレーニングされています。

<pでは、いくつかの例をご紹介しましょう。

GPT-3は、OpenAIによって2020年にリリースされました。サイズは1750億のパラメータで、2.048トークンのコンテキストウィンドウサイズで3000億のトークンでトレーニングされました。 GPT-4は2023年3月にリリースされ、コンテキストウィンドウサイズが32,768トークンに向上したGPT-3の改良版です。これは、画像とテキストの入力を受け入れてテキストの出力を生成できるマルチモーダルモデルです。

PaLMは、Googleによって2022年にリリースされました。サイズは5400億のパラメータで、2.048トークンのコンテキストウィンドウサイズで7800億のトークンでトレーニングされました。Googleはまた、2023年5月により速く、比較的小さく、コスト効率が良くなったPaLM 2をリリースしました。これは、100以上の言語をサポートし、8,000トークンのコンテキストウィンドウサイズに到達するようになりました。GPT-4のようなマルチモーダルではありませんが、医療分野に限定したMed-PaLM 2にマルチモーダル機能が追加されています。

LLaMAはMetaによって開発され、2023年2月にリリースされました。7億から65億のパラメータでトレーニングされたモデルを持ち、トレーニングには兆個のトークンが使用されています。2023年7月からは、最初のバージョンを改良したLLaMA 2が利用可能になり、70億のパラメータに達し、コンテキストウィンドウサイズが2.048トークンから4.096トークンに増加しました。

Falconは、Technology Innovation Institute（TII）によって開発され、最初のバージョンが2021年10月にリリースされました。7億から40億のパラメータを持つモデルで、高品質なウェブデータから1兆のトークンでトレーニングされました。Hugging Faceからダウンロードすることができます。

Dollyは、Databricksによって開発され、2023年3月にリリースされました。サイズは120億のパラメータで、EleutherAIのPythiaモデルをベースにしており、Databricksの従業員によって生成された15,000レコードの指示コーパスでファインチューニングされました。

これらすべてのLLMは、ドキュメント内の次のトークンを予測するためにTransformerベースのモデルを使用していますが、アーキテクチャにはいくつかの違いがあります。

Hugging Faceのリーダーボードを探索することで、リリースされたオープンなLLMやチャットボットを追跡、ランキング、評価することができます。

これらのモデルは、ChatGPTなどの生成型AIツールが構築されるエンジンを表しています。車と比較するなら、LLMは車のエンジンです。一方、チャットボットはボディワークを表します。

ChatGPT（チャットGPT）は、OpenAIが2022年11月に市場に提供した初の生成型AIチャットボットです。これは、GPT-3.5またはGPT-4の大規模言語モデルを強化学習によって微調整したものです。会話形式でチャットすることができ、質問への回答、要約の作成、コードのデバッグ、テキストの生成など、さまざまなタスクをサポートしています。

Bard（バード）は、Googleによって開発され、2023年2月にリリースされたOpenAIのChatGPTの主要な競合製品です。最初はLaMDA大規模言語モデルに基づいており、後にPaLM 2でパワーアップされました。ChatGPTと同様に機能し、多言語でテキストを理解し生成することができますが、異なる点はリアルタイムで更新されるため、ウェブから情報を取得してより正確かつ高品質な回答を提供できることです。

h2oGPT（エイチツーオージーピーティー）は、H2O.aiプラットフォームによって開発された新しいチャットボットの世代に属しており、GPT 3.5 turbo、LLaMA 2、Falconなど、さまざまなモデルをサポートしています。オンラインまたはローカルで使用することができ、ベイクオフUIモードを備えており、異なるモデルの出力を同時に比較することができます。

Claude 2（クロード2）はAnthropicによって開発され、ChatGPTと同様にテキストを理解し生成し、無害なリアルタイムの応答を行います。ChatGPTやBardにとって有望なライバルです。

ChatGPTが機能し、生産性を向上させるのに本当に役立つことから、それは一時的な流行だけでなく、次の数年間で成長する機会を持つビジネスです。そのため、GoogleはBardに投資しており、他の企業もChatGPTや以前に紹介された他の生成型AIツールに参入することを決めています。

次の図は、過去30日間のGoogleトレンドを通じて、ChatGPT vs Bardおよび以前に言及された他のチャットボットの世界でのトレンドの興味を予想しています。

Claude 2とh2oGPTは興味が低いため、競争はChatGPTとGoogle Bardの間で行われています。現時点では、ChatGPTが圧倒的な優位性を持っています。

1年間の期間を比較すると、ChatGPTは2023年の春に最高の興味レベルに達し、現在は下落しています。

これらの2つの図と次の図から、私が思う疑問は次のとおりです。「今後数か月または数年で、ChatGPTの競争上の優位性は削がれるのか、それともChatGPTが最初に市場に参入したことで、他の検索ツールと比較してGoogle検索のようにユーザーによって恒久的なツールとして確立されているのか？」

お気に入りの生成型AIチャットボットをお楽しみください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!