「Phi-2解放：コンパクトで輝かしい言語モデル」

「Phi-2解放：コンパクトで輝く言語モデル」

最近、Microsoft ResearchのMachine Learning Foundationsチームは、彼らの小さな言語モデル（SLM）のスイートの最新バージョンであるPhi-2を発表しました。パラメーター数が27億に上るPhi-2は、驚くほどコンパクトなフレームワーク内で非凡な推論力と言語理解能力を発揮し、期待を裏切るものです。

Phi-2謎解き

Phi-2の登場は、その前身であるPhi-1とPhi-1.5の成功に続くものです。研究チームは、言語モデルのスケーリングにおけるユニークなアプローチを開拓し、サイズだけがすべてではないことを示しました。トレーニングデータの品質と革新的なスケーリング技術に焦点を当てることで、Phi-2は自身よりも25倍も大きいモデルに劣らず、さらに優れたパフォーマンスを発揮します。

品質が数量を凌駕する

Phi-2の成功の要点は、チームがトレーニングデータの品質に重点を置いていることにあります。以前の研究「テキストブックが必要なすべて」に続いて、研究者たちは合成データセットと厳選されたウェブデータを組み合わせてモデルに常識的な推論と一般的な知識を植え付けることを目指しました。この緻密なデータキュレーションのアプローチが、Phi-2の優れたパフォーマンスへの道を開きました。

• ジェンAIに関するトップ10の研究論文
• 「このAI研究は、グラフ上の大規模言語モデル（LLM）について包括的な概要を共有します」
• スタンフォード大学の研究者が、多様な視覚的な概念に対する現行モデルの解釈性と生成能力を向上させるための新しい人工知能フレームワークを紹介しました

革新的なスケーリング技術

研究チームは、Phi-1.5モデルの知識をPhi-2に埋め込むという新たな知識転送アプローチを採用しました。これにより、トレーニングの収束が加速されるだけでなく、Phi-2のベンチマークスコアにおいて明確な性能向上が示されました。この革新的なスケーリング技術によって、Phi-2は他と一線を画し、戦略的なモデル開発の力を示しています。

Phi-2のトレーニングの歩み

Phi-2は、次の単語予測目標を持つTransformerベースのモデルであり、合成データセットとウェブデータから合計14兆トークンに対してトレーニングを行いました。驚くべきことに、96台のA100 GPUでわずか14日間のトレーニングを実施し、効率性と効果性を示しました。Phi-2は、人間のフィードバックからの強化学習や命令による微調整を行っていないにもかかわらず、有害性や偏見に関して優れた振る舞いを示しています。

Phi-2の評価での勝利

Phi-2の優れた性能は、ミストラルやラマ2などのより大きなモデルを凌駕し、コーディングや数学などのマルチステップの推論タスクで卓越した成績を収めています。驚くべきことに、最近発表されたGoogleのジェミニナノ2を上回り、そのサイズの小ささにもかかわらず優れた性能を発揮します。研究者たちはモデルの評価における課題を認識していますが、Phi-2が一貫して自らの能力を証明できる具体的な使用例でのテストの重要性を強調しています。

私たちの考え

Phi-2の優れたパフォーマンスは、大きなモデルが常に良い結果を意味するという常識に挑戦しています。そのコンパクトなサイズは、研究や開発の新たな可能性を開き、機械的解釈可能性、安全性の向上、およびさまざまなタスクにおける微調整実験を探求するための理想的なプレイグラウンドとなります。Microsoft Researchは、自然言語処理の未来を新たな情熱で探求するために、Phi-2を活用して限界を押し広げる姿勢を示しています。

Phi-2は、人工知能と言語理解の領域において、小さな言語モデルに宿る驚くべき力を証明し、効率性と効果性の新たな時代を切り開いています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!