このAIペーパーは、さまざまなタスクでChatGPTに追いついたり超えたりすると主張するオープンソースの大規模言語モデルの詳細なレビューを公開しています

「さまざまなタスクでChatGPTを追い越し超えた」と主張するオープンソースの大規模言語モデルの詳細なレビューを公開

昨年のChatGPTのリリースは、人工知能コミュニティを驚かせました。最新の大規模言語モデルであるGPTのトランスフォーマーアーキテクチャに基づいて開発されたChatGPTは、学術および商業アプリケーションの両方に大きな影響を与えています。このチャットボットは、リインフォースメントラーニングフロムヒューマンフィードバック（RLHF）の能力を利用し、監視付きのファインチューニングを通じて指示を調整することで、簡単に人間に応答し、コンテンツを生成し、クエリに答え、さまざまなタスクを実行することができます。

最近の研究では、シンガポール国立大学（NTU）、SalesForce AI、I2Rの研究者チームが、オープンソースの大規模言語モデル（LLM）の最新研究をまとめ、さまざまなコンテキストでChatGPTと同等またはそれ以上のパフォーマンスを発揮するモデルの完全な概要を提供するために広範な調査を行いました。ChatGPTのリリースと成功により、学界と産業界の両方で、この分野に専念したスタートアップから生まれた新しいLLMが豊富に見られるなど、LLM関連の追求が盛んになりました。

AnthropicのClaudeのようなクローズドソースのLLMは一般的にオープンソースの対抗モデルよりも優れているものの、OpenAIのGPTなどのモデルはより速く進化してきました。特定のタスクで同等またはそれ以上のパフォーマンスを達成するという主張が増えており、これによりクローズドソースモデルの歴史的な優位性が危うくなっています。

• 「SceneTexをご紹介：屋内シーンにおける高品質でスタイル一貫性のあるテクスチャ生成のための革新的なAI手法」
• 「Perplexity（パープレキシティ）が2つの新たなオンラインLLMモデルを発表：『pplx-7b-online』と『pplx-70b-online』」
• 「PepCNNという名のディープラーニングツールを紹介します：シーケンス、構造、言語モデルの特徴を使用してタンパク質中のペプチド結合残基を予測するためのものです」

研究の観点から、新しいオープンソースのLLMの連続的なリリースとそれらの成功が、これらのモデルの強みと弱点を再評価することを余儀なくさせています。オープンソースの言語モデリングソフトウェアの進展は、言語モデルを組織の運営に取り入れたい企業にとって、ビジネスに関連する課題を提供しています。独自の代替品と同等またはそれ以上のパフォーマンスを得る可能性のおかげで、企業は独自の要件に最適なモデルを選択するためにより多くの選択肢を持つようになりました。

チームは、調査の貢献を特徴づけるために使用できる3つの主要なカテゴリを共有しました。

1. 評価のまとめ：調査では、オープンソースのLLMがChatGPTとどのように異なるかについて客観的かつ包括的な視点を提供するために、さまざまな評価をまとめました。この総合は、オープンソースのLLMの利点と欠点を読者に包括的に理解させます。

1. モデルのシステマティックなレビュー：ChatGPTと同等またはそれ以上のパフォーマンスを発揮するオープンソースのLLMが、さまざまなタスクで調査されました。さらに、チームはリアルタイムで更新されるウェブページを共有しました。これにより、読者は最新の変更を確認できます。これは、オープンソースのLLMの開発のダイナミックな性質を反映しています。

1. 助言と洞察：レビューや評価に加えて、調査はオープンソースのLLMの進化に影響を与えるパターンについての洞察力のある情報を提供しています。また、これらのモデルの潜在的な問題を探求し、オープンソースのLLMを教育するためのベストプラクティスについても議論しています。これらの結果は、企業セクターと学術コミュニティの両方に対して、既存のコンテキストと将来の可能性について詳細な視点を提供しました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!