「なぜマイクロソフトのOrca-2 AIモデルは持続可能なAIにおいて重要な進展を示すのか？」

「マイクロソフトのOrca-2 AIモデルがなぜ持続可能なAIにおいて重要な進展を示すのか？」(Maihurosofuto no Orca-2 AI moderu ga naze jizoku kanōna AI ni oite jūyōna shinten o shimesu no ka?)

過去10年間において人工知能が果たした顕著な進歩は、チェスや囲碁のような戦略ゲームで人間のチャンピオンに勝利し、タンパク質の3D構造を予測するなど、人類の知的な能力を超えるようになってきました。しかし、大規模な言語モデル（LLM）の普及はパラダイムシフトを象徴しています。これらのモデルは、人間とコンピューターのインタラクションを変え、教育、カスタマーサービス、情報検索、ソフトウェア開発、メディア、医療など、さまざまな分野で欠かせない存在となっています。これらの技術の進歩は科学的なブレイクスルーや産業の成長を可能にする一方で、地球に対する目に見えないが大きな負荷をかけるものが存在します。

LLMのトレーニングと利用には、膨大なエネルギーが必要であり、それによって大きな環境影響が生じます。マサチューセッツアムハースト大学のコンピューターサイエンス学部が最近発表した研究によると、LLMのトレーニングによって626,000ポンドの二酸化炭素が排出され、これはおおまかに言って車5台のライフタイム排出量に相当します。AIスタートアップのHugging Faceは、今年初めにリリースされた大規模な言語モデルBLOOMのトレーニングが25メートルトンの二酸化炭素排出をもたらしたことを発見しました。同様に、FacebookのAIモデルMeenaは、トレーニングプロセス全体で24万マイル以上車を運転した場合に相当する炭素の足跡を残します。

LLMのトレーニングにも関わらず、クラウドコンピューティングの需要は、現在では航空業界全体よりも多くの排出量を生み出しています。単一のデータセンターは、5万軒の家庭と同等の電力を消費することがあります。別の研究では、単一の大規模な言語モデルのトレーニングによって、その全寿命を通じて5台分の車が放出するのと同じ量の二酸化炭素が放出されることを示しています。AIの排出は2025年までに300%増加すると予測されており、AIの進歩と環境責任のバランスを取る緊急性が強調され、AIをよりエコフレンドリーにするための取り組みが促進されています。AIの進歩による環境への負荷を軽減するために、持続可能なAIが重要な研究分野として浮上しています。

持続可能なAI

持続可能なAIは、人工知能システムの開発と展開におけるパラダイムシフトを表しており、環境への影響を最小限に抑え、倫理的な考慮事項と長期的な社会的利益に焦点を当てています。このアプローチは、エネルギー効率の高い、環境責任を持つ、人間の価値観と一致するインテリジェントシステムの創造を目指しています。持続可能なAIでは、コンピューターにクリーンエネルギーを使用し、より少ない電力を必要とするスマートアルゴリズムを利用し、公正かつ透明な意思決定を保証するために倫理的なガイドラインに従うことが重要です。持続可能なAIと持続可能性のためのAIの違いについては、前者は環境や社会的な影響を考慮せずに既存のプロセスを最適化するためにAIを使用する場合を指し、後者はAIの開発のあらゆる段階において持続可能性の原則を統合し、デザインから展開まで、地球と社会に対して積極的で持続的な影響を創出することを意味します。

• 確定論的 vs 確率的 – 機械学習の基礎
• ギガGPTに会ってください：CerebrasのnanoGPTの実装、Andrei Karpathyの効率的なコードでGPT-3のサイズのAIモデルを訓練するためにわずか565行のコード
• 「vLLMの解読：言語モデル推論をスーパーチャージする戦略」

LLMから小規模言語モデル（SLMs）へ

持続可能なAIの追求の中で、マイクロソフトは大規模な言語モデル（LLM）との整合性を図るため、小規模言語モデル（SLMs）の開発に取り組んでいます。この取り組みの一環として、最近、彼らはOrca-2を発表しました。このモデルは、GPT-4のように論理的な推論を行うために設計されています。前作のOrca-1と比較して、13億のパラメータを誇るOrca-2は、2つの重要な技術を使用して7億のパラメータを持っています。

1. インストラクションの調整：Orca-2は、例から学び、さまざまなタスクでのコンテンツの品質、ゼロショットの能力、および推論能力を向上させることで改善されます。
2. 説明の調整：インストラクションの調整の限界を認識したため、Orca-2は説明の調整を導入します。これには、教師モデルの詳細な説明の作成、推論シグナルの豊か化、総合的な理解の向上が含まれます。

Orca-2は、これらの技術を使用して、より効率的な推論を実現し、より多くのパラメータを持つLLMと同等の結果を出します。主な目的は、モデルが問題を解決する最良の方法を見つけること、それが迅速な回答を提供するか、ステップごとに考えるかを判断できるようにすることです。Microsoftはこれを「慎重な推論」と呼んでいます。

Orca-2のトレーニングのために、MicrosoftはFLAN注釈、Orca-1、およびOrca-2のデータセットを使用して、新しいトレーニングデータセットを作成します。彼らは簡単な質問から始め、いくつかの難しいものを追加し、話すモデルのデータを使用してさらにインテリジェントにします。

Orca-2は、推論、テキスト補完、基本、真実性、および安全性をカバーする徹底的な評価を受けます。結果は、合成データによる専門的なトレーニングによってSLMの推論を向上させる可能性を示しています。一部の制約があるにもかかわらず、Orca-2モデルは推論、制御、および安全性の将来の改善の可能性を示し、トレーニング後のモデルを磨くために合成データを戦略的に適用する効果を証明しています。

Orca-2が持つ持つ偉大な意義

Orca-2は、持続可能なAIに向けた重要な飛躍を表しており、巨大なエネルギー消費を伴う大規模なモデルのみがAIの能力を真に向上させることができるという一般的な信念に挑戦します。この小規模な言語モデルは、巨大なデータセットや広範な計算能力を必要とせずに言語モデルの優れた性能を達成するためには、知的なデザインと効果的な統合の重要性を強調します。

この突破口により、AIを単に拡大するのではなく、それをどのようにデザインするかに焦点を移すことで、新しい可能性が開かれます。これは、先進的なAIを幅広い人々や組織によりアクセス可能にし、革新が包括的でさまざまな人々や組織に届くことを保証する重要な一歩となります。

Orca-2は、将来の言語モデルの開発に大きな影響を与える可能性があります。自然言語処理に関連するタスクの改善やさまざまな産業でより高度なAIアプリケーションを可能にすることから、これらの小型モデルは重要な変革をもたらすことができます。さらに、環境への責任を果たすために技術の進歩と環境へのコミットメントを調和させるために、持続可能なAIの実践を促進する先駆けとなっています。

結論：

マイクロソフトのOrca-2は、持続可能なAIに向けた画期的な進展を表しており、大規模なモデルのみがAIを進化させることができるという考えに挑戦しています。サイズよりも知的なデザインを優先することで、Orca-2は新たな可能性を切り開き、より包括的かつ環境に配慮した高度なAI開発のアプローチを提供します。この転換は、知的システムの設計における新たなパラダイムに向けた重要な一歩です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!