「デバイス内AIの強化 QualcommとMetaがLlama 2テクノロジーと共同開発」

Qualcomm and Meta collaborate to enhance on-device AI with Llama 2 technology.

Metaの新しいオープンソースのLlama 2のリリースにより、大規模言語モデル（LLMs）の使用事例についての議論が起こっています。しかし、多くの人にとって、ローカルのハードウェア上でLlama 2にアクセスし、実行することは依然として重要な障壁です。この問題に対処し、Llama 2のパワーへのアクセスを民主化するために、MetaはQualcommと提携し、モデルをオンデバイスで使用するためにQualcommのAI対応Snapdragonチップを活用して最適化しています。

MetaとQualcommの協力により、Llama 2のオンデバイスでの実装が可能になり、新しいAI対応Snapdragonチップの機能を活用しています。モデルをオンデバイスで実行することで、開発者はクラウドコンピューティングコストを削減し、データが外部サーバーに送信されないため、ユーザーに強化されたプライバシーを提供することができます。オンデバイスでのAI処理は、インターネット接続なしで生成的AIを可能にし、ユーザーの好みに合わせたモデルのパーソナライズも可能にします。

QualcommのHexagonプロセッサは、Snapdragonチップにマイクロタイル推論、テンソルコア、SegNet、スカラーおよびベクトルワークロード用の専用処理など、さまざまなAI機能を備えています。Llama 2をQualcomm AIスタックに統合することで、オンデバイスでのAIモデルの実行がさらに最適化されます。

• マイクロソフトが「TypeChat」をリリース：型を使用して自然言語インターフェースを簡単に構築できるAIライブラリ
• 「テキストゥアをご紹介します：3Dメッシュのテキストゥアリングのための新しい人工知能（AI）フレームワーク」
• 「Amazon Transcribe Toxicity Detectionを使用して、会話中の有害な言語をフラグ付けします」

Metaは、最初のLLaMAモデルのリークから多くを学びました。最初は研究者や学術機関にのみ提供されていたLLMのリークは、オープンソースのLLMイノベーションの爆発を引き起こし、さまざまな改良版のLLaMAを生み出しました。オープンソースコミュニティの貢献は大きく、デバイス上で実行できるバージョンが作成され、LLMがより広い観客にアクセス可能になりました。

リークに対応するため、MetaはLlama 2のリリースにおいて異なるアプローチを取り、オープンネスと協力を重視しています。Qualcommとの提携により、チップメーカーはモデルの内部機能に対する洞察を得て、Snapdragonチップ上でのパフォーマンスを最適化することができます。この協力は、2024年のQualcomm Snapdragon 8 Gen 3チップの発売と同時に予定されています。

オープンソースコミュニティもLlama 2の開発に重要な役割を果たすと予想されています。業界のオンデバイスAIへの勢いとオープンなLLMエコシステムを組み合わせることで、この動きは活気あるオンデバイスAIエコシステムを育成するための最初の一歩と見なされています。

専門家は、オープンなLLMがAIパワードのコンテンツ生成、インテリジェントアシスタント、生産性アプリケーションなどの新世代をもたらす可能性があると予測しています。デバイス上でネイティブにLLMを実行できる能力は、オンデバイスAI処理の数多くの可能性を開放し、AppleのM1チップにニューラルエンジンを組み込んだことや、MicrosoftのHybrid AI Loopツールキットに示されるように、エッジでのAI機能の成長トレンドをサポートします。

全体的に、MetaとQualcommの提携は、AIモデルへのアクセスを民主化するための重要な一歩であり、開発者がAIパワードアプリケーションを作成し、iPhoneと同様のアプリストア爆発をもたらす新しいオンデバイスAIエコシステムの時代を迎えることを可能にしています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!