言語ドメインにおける画期的かつオープンソースの対話型AIモデルのリスト

言語ドメインのオープンソースAIモデルリスト

会話型AIは、仮想エージェントやチャットボットのような技術を指し、大量のデータと自然言語処理を使用して人間の対話を模倣し、音声とテキストを認識するものです。最近、会話型AIの領域は大きく進化し、特にChatGPTの登場によります。以下は、会話型AIを革新している他のオープンソースの大規模言語モデル（LLM）のいくつかです。

LLaMA

• リリース日：2023年2月24日

LLaMaは、Meta AIによって開発された基礎的なLLMです。他のモデルよりも柔軟で責任ある設計となっています。LLaMaのリリースは、研究コミュニティへのアクセスを民主化し、責任あるAIの実践を促進することを目的としています。

LLaMaは、7Bから65Bまでのパラメータ数の異なるサイズで提供されています。モデルへのアクセス許可は、業界の研究所、学術研究者などに対してケースバイケースで付与されます。

• 「最適化によるAIトレーニングにおける二酸化炭素排出量の削減」
• PoisonGPTとは：それ以外は信頼されたLLMサプライチェーンに悪意のあるモデルを導入するためのAI手法
• ハギングフェイスTGIを使用した大規模言語モデルの展開

OpenAssistiant

• リリース日：2023年3月8日

Open Assistantは、LAION-AIによって開発されたプロジェクトで、優れたチャットベースの大規模言語モデルを提供することを目的としています。大量のテキストとコードのトレーニングを通じて、クエリへの応答、テキスト生成、言語の翻訳、創造的なコンテンツの生成など、さまざまなタスクを実行する能力を獲得しています。

OpenAssistantはまだ開発段階ですが、Google検索などの外部システムとのやり取りを通じて情報を収集するなど、既にいくつかのスキルを獲得しています。また、オープンソースのイニシアチブでもあり、誰でも進展に貢献することができます。

Dolly

• リリース日：2023年3月8日

Dollyは、Databricksによって開発された命令に従うLLMです。商用利用のためにライセンスされたDatabricksの機械学習プラットフォームでトレーニングされています。DollyはPythia 12Bモデルで動作し、約15,000件の命令/応答のレコードをトレーニングデータとして使用しています。最先端ではありませんが、Dollyは命令に従うパフォーマンスが非常に高品質です。

Alpaca

• リリース日：2023年3月13日

Alpacaは、スタンフォード大学によって開発された小規模な命令に従うモデルです。MetaのLLaMa（7Bパラメータ）モデルをベースにしています。多くの命令に従うタスクで優れたパフォーマンスを発揮する一方で、再現性も容易で安価になるように設計されています。

OpenAIのtext-davinci-003モデルに似ていますが、製作コストがかなり安価（＜$600）です。モデルはオープンソースであり、52,000の命令に従うデモンストレーションのデータセットでトレーニングされています。

Vicuna

• リリース日：2023年4月

Vicunaは、UC Berkeley、CMU、Stanford、UC San Diegoのチームによって開発されたチャットボットです。ユーザーが共有し、ShareGPTから収集された会話をLLaMaモデルのファインチューニングによってトレーニングされています。

Transformerアーキテクチャに基づいているVicunaは、自己回帰的な言語モデルであり、自然で魅力的な会話能力を提供します。13Bのパラメータを持つため、Alpacaよりも詳細で良く構造化された回答を生成し、その品質はChatGPTに匹敵します。

Koala

• リリース日：2023年4月3日

バークレー人工知能研究所（BAIR）が開発したKoalaは、LLaMa 13Bモデルに基づく対話モデルです。他のLLMよりも安全で解釈しやすい設計を目指しています。Koalaは、高性能なクローズドソースモデルとの相互作用を含むデータに重点を置いた、自由に利用できる相互作用データでファインチューニングされています。

Koalaは、言語モデルの安全性やバイアスの研究、対話言語モデルの内部動作の理解に役立ちます。また、EasyLMというLLMのトレーニングとファインチューニングのためのフレームワークを含む、ChatGPTのオープンソースの代替モデルです。

Pythia

• リリース日: 2023年4月

Eleuther AIは、科学研究をサポートするために設計された自己回帰言語モデルのセットであるPythiaを作成しました。Pythiaには70Mから12Bのパラメータを持つ16種類の異なるモデルが含まれています。すべてのモデルは同じデータとアーキテクチャを使用してトレーニングされており、スケーリングとともにどのように進化するかを比較することができます。

OpenChatKit

• リリース日: 2023年4月5日

Togetherは、会話型AIアプリケーションの構築プロセスを簡素化し効率化するオープンソースのチャットボット開発フレームワークであるOpenChatKitを開発しました。このチャットボットは、会話と指示に特化しており、要約、テーブル生成、分類、対話において優れた性能を発揮します。

OpenChatKitを使用することで、開発者は様々なアプリケーション向けに特化した汎用的なチャットボットを作成するための堅牢なオープンソースの基盤にアクセスすることができます。このフレームワークはGPT-4アーキテクチャ上に構築されており、3B、6B、12Bの異なるモデルサイズで利用することができ、計算リソースとアプリケーションの要件に対応しています。

RedPajama

• リリース日: 2023年4月13日

RedPajamaは、Together、Ontocord.ai、ETH DS3Lab、Stanford CRFM、Hazy Research、MILA Québec AI Instituteのチームによって作成されたプロジェクトです。彼らの目標は、まず1.2兆以上のトークンを含むLLaMAトレーニングデータセットの再現から始め、優れたオープンソースモデルを開発することです。

このプロジェクトは、事前学習データ、ベースモデル、指示調整データとモデルという3つの要素を持つ、完全にオープンで複製可能で最先端の言語モデルを作成することを目指しています。現在、このデータセットはHugging Faceを介してアクセス可能であり、ユーザーはGitHubで利用可能なApache 2.0スクリプトを使用して結果を再現するオプションがあります。

StableLM

• リリース日: 2023年4月19日

StableLMは、Stability AIによって開発されたオープンソースの言語モデルです。このモデルは、The Pileデータセットよりも3倍大きな実験用データセットでトレーニングされており、サイズは小さいですが、会話やコーディングのタスクに効果的です。このモデルは3Bパラメータと7Bパラメータで提供されており、より大きなモデルも今後提供される予定です。

StableLMはテキストとコードの両方を生成することができ、さまざまなダウンストリームアプリケーションに適しています。Stability AIはまた、会話エージェント向けに特別に設計された5つの最新のオープンソースデータセットの組み合わせを使用して、一連のファインチューンされた研究モデルを提供しています。これらのファインチューンされたモデルは研究専用であり、非商業的なCC BY-NC-SA 4.0ライセンスの下で利用可能です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!