「Phi-2解放:コンパクトで輝かしい言語モデル」

「Phi-2解放:コンパクトで輝く言語モデル」

最近、Microsoft ResearchのMachine Learning Foundationsチームは、彼らの小さな言語モデル(SLM)のスイートの最新バージョンであるPhi-2を発表しました。パラメーター数が27億に上るPhi-2は、驚くほどコンパクトなフレームワーク内で非凡な推論力と言語理解能力を発揮し、期待を裏切るものです。

Phi-2謎解き

Phi-2の登場は、その前身であるPhi-1とPhi-1.5の成功に続くものです。研究チームは、言語モデルのスケーリングにおけるユニークなアプローチを開拓し、サイズだけがすべてではないことを示しました。トレーニングデータの品質と革新的なスケーリング技術に焦点を当てることで、Phi-2は自身よりも25倍も大きいモデルに劣らず、さらに優れたパフォーマンスを発揮します。

品質が数量を凌駕する

Phi-2の成功の要点は、チームがトレーニングデータの品質に重点を置いていることにあります。以前の研究「テキストブックが必要なすべて」に続いて、研究者たちは合成データセットと厳選されたウェブデータを組み合わせてモデルに常識的な推論と一般的な知識を植え付けることを目指しました。この緻密なデータキュレーションのアプローチが、Phi-2の優れたパフォーマンスへの道を開きました。

革新的なスケーリング技術

研究チームは、Phi-1.5モデルの知識をPhi-2に埋め込むという新たな知識転送アプローチを採用しました。これにより、トレーニングの収束が加速されるだけでなく、Phi-2のベンチマークスコアにおいて明確な性能向上が示されました。この革新的なスケーリング技術によって、Phi-2は他と一線を画し、戦略的なモデル開発の力を示しています。

Phi-2のトレーニングの歩み

Phi-2は、次の単語予測目標を持つTransformerベースのモデルであり、合成データセットとウェブデータから合計14兆トークンに対してトレーニングを行いました。驚くべきことに、96台のA100 GPUでわずか14日間のトレーニングを実施し、効率性と効果性を示しました。Phi-2は、人間のフィードバックからの強化学習や命令による微調整を行っていないにもかかわらず、有害性や偏見に関して優れた振る舞いを示しています。

Phi-2の評価での勝利

Phi-2の優れた性能は、ミストラルやラマ2などのより大きなモデルを凌駕し、コーディングや数学などのマルチステップの推論タスクで卓越した成績を収めています。驚くべきことに、最近発表されたGoogleのジェミニナノ2を上回り、そのサイズの小ささにもかかわらず優れた性能を発揮します。研究者たちはモデルの評価における課題を認識していますが、Phi-2が一貫して自らの能力を証明できる具体的な使用例でのテストの重要性を強調しています。

私たちの考え

Phi-2の優れたパフォーマンスは、大きなモデルが常に良い結果を意味するという常識に挑戦しています。そのコンパクトなサイズは、研究や開発の新たな可能性を開き、機械的解釈可能性、安全性の向上、およびさまざまなタスクにおける微調整実験を探求するための理想的なプレイグラウンドとなります。Microsoft Researchは、自然言語処理の未来を新たな情熱で探求するために、Phi-2を活用して限界を押し広げる姿勢を示しています。

Phi-2は、人工知能と言語理解の領域において、小さな言語モデルに宿る驚くべき力を証明し、効率性と効果性の新たな時代を切り開いています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

「開発者向けのAIツール15個(2023年8月)」

Otter AI 人工知能を使用して、Otter.AIはユーザーにリアルタイムの会議のメモの音声文字起こしを提供し、共有可能で検索可能...

機械学習

ハギングフェイスがIDEFICSを導入:視覚言語モデルを活用した先駆的なオープンマルチモーダル対話AI

人工知能のダイナミックな景色において、続く挑戦がこの分野の進歩に影を落としています:最先端のAIモデルについての謎。こ...

機械学習

ChatGPTのためのエニグマ:PUMAは、LLM推論のための高速かつ安全なAIアプローチを提案するものです

大規模言語モデル(LLM)は人工知能の領域で革命を起こしています。ChatGPTのリリースはLLMの時代の火付け役となり、それ以来...

人工知能

「AI週間ニュース、2023年7月31日:」

「This Week in AI」はVoAGIで提供される人工知能の最新情報のウィークリーラウンドアップです最新のヘッドライン、学術論文...

人工知能

「スタートアップ向けの30以上のAIツール(2023年9月)」

AIによって、職場の創造性、分析、そして意思決定が革新されています。現在、人工知能の能力は、ビジネスが拡大を急速化し、...

機械学習

「xVal」というものに出会いましょう:科学応用のために数字を言語モデルにエンコードするための継続的な方法で、任意の数字を表すために単一のトークンだけを使用します

大規模言語モデルの領域において、ひとつの迷惑な問題が浮かび上がっています。これらのモデルは多くの言語に基づくタスクを...