「Deep Diving Into Llama 2 メタAIの新しいオープンソース基盤モデル」

Deep Diving Into Llama 2 New Open Source Foundation Model for Meta AI

モデルはこれまでの先行モデルに比べて重要な改良を含んでおり、オープンソースの基盤モデルにおける重要なマイルストーンを表しています。

私は最近、AIに特化した教育ニュースレターを始めました。既に16万人以上の購読者がいます。TheSequenceは、ハイプやニュースなどを排除したMLに特化したニュースレターで、5分で読むことができます。目標は、機械学習のプロジェクト、研究論文、概念について最新情報を提供することです。以下の購読ボタンからぜひ試してみてください。

TheSequence | Jesus Rodriguez | Substack

機械学習、人工知能、データの進展を最新情報で把握するための最良の情報源…

thesequence.substack.com

先週、Meta AIはジェネレーティブAI領域で話題を集め、Llama 2のオープンソースリリースと商業提供が行われました。このモデルは3つの異なるパラメータでリリースされました：7B、13B、70Bです。今日は、このリリースのいくつかの技術的詳細について詳しく見ていきたいと思います。

Meta AIはLlama 2という事前学習済みおよび微調整済みの大規模言語モデル（LLM）のファミリーであるLlama 2とLlama 2-Chatを開発・導入しました。これらのモデルは最大700億のパラメータを持っています。Meta AIは有用性と安全性のベンチマークを行った結果、Llama 2-Chatモデルが一般的なオープンソースモデルよりも優れており、一部のクローズドソースモデルと同等の性能を発揮することが分かりました。これらのモデルの安全性を向上させるために、Meta AIは安全に関連するデータアノテーション、チューニング、レッドチーミング、繰り返し評価を行いました。さらに、論文ではファインチューニングの方法論とLLMの安全性向上へのアプローチについて包括的に説明しています。Meta AIはオープン性を促進し、コミュニティによるファインチューニング済みLLMの再現性を可能にし、このようなモデルの責任ある開発を推進することを目指しています。重要なことは、このリリースには2つのモデルファミリーが含まれているということです：

• 「マイクロソフトのBing ChatがChromeとSafariに拡大」
• 『2つの方が1つより優れている：AIと自動化を組み合わせて強力な品質エンジニアリングプロセスを作成する方法』
• 著者たちはAI企業に対して団結し、著作権保護された作品に対する尊重と報酬を求めます

1. Llama 2：新たな公開データのミックスでトレーニングされたLlama 1の更新版です。事前学習コーパスのサイズが40%増加し、モデルのコンテキスト長が倍増し、クエリのグループ化に注意が払われています…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!