「LLaMAを超えて：オープンLLMの力」

Beyond LLaMA The Power of Open LLM

LLaMAがオープンソースを再びクールにしている方法

最近の大規模言語モデル（LLM）の進展にもかかわらず、最も強力なモデルの多くは有料のAPIを介してのみアクセス可能であり、大量のプロプライエタリデータを使用してトレーニングされています。そのため、研究コミュニティはこのようなモデルにアクセスしたり再現したりすることが制限されています。この傾向は、LLMがごく少数の中央集権的なグループによって大部分に制御され、他の人々にこれらのモデルとの相互作用のために支払いを強いることを心配させます。このようなシナリオでは、ほとんどの研究者が独自にLLMに直接アクセスしたり改善したりすることができません。

「[多くの] LLMは、トレーニングに膨大な計算リソースを必要とし、しばしば大規模かつプロプライエタリなデータセットを使用しています。これは、将来、高性能なLLMがごく少数の組織によって大部分に制御されることを示唆しています。」- [5]から引用

LLMのトレーニングとホスティングの計算的な負荷を考えると、これらのモデルをオープンソース化しても研究コミュニティにとって有益なのか疑問に思うかもしれません。大規模な計算リソースを持つ巨大な組織の一部でない限り、LLMを使って有益な研究を行うことはできるのでしょうか？もしそうでなければ、LLMの中央集権的な制御とアクセスの世界に運命を託されることになるかもしれません。これらのモデルは、多くの人々にとって扱いづらいほどの「重力」（つまり、大量のデータと計算へのアクセスが必要）を持っているように思えます。

LLaMAの提案（およびその後のリーク）は、より小規模ながら強力なLLMのスイートをオープンソース化することで逆方向に進んでいます。LLaMAの公開後、LLMに関する大量のオープンな研究が行われました。この研究によってさまざまなモデルが生み出されましたが、その中にはChatGPTと同等の品質を持つものもありました。特にこれらのモデルは、最小限のコスト（ほとんどの場合は$500未満）と控えめな計算リソース（これらのモデルの一部は通常のMacBookでも実行できます！）で作成されました。ここでは、最近提案されたLLaMA後のいくつかのモデルを調査し、LLMに関するオープンソースの研究がそのトピックをよりアクセス可能にした方法を探求します。

• 「人間と高度な人工知能の間で倫理的な相互作用を育む」
• 「推薦エンジンの再構築」
• ChatGPTを使用して、忘れられないスローガンを作成する

コアコンセプト

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!