「LLMはiPhone上でネイティブに動作できるのか？ MLC-LLMとは、GPUアクセラレーションを備えた広範なプラットフォームに直接言語モデル（LLM）を導入するためのオープンフレームワークです」

Can LLM run natively on the iPhone? MLC-LLM is an open framework for directly introducing language models (LLM) into a wide range of platforms that have GPU acceleration.

大型言語モデル（LLM）は、人工知能の分野で現在の注目のトピックです。医療、金融、教育、エンターテイメントなど、さまざまな業界で大きな進歩が既になされています。GPT、DALLE、BERTなどのよく知られた大型言語モデルは、驚異的なタスクを実行し、生活を楽にしています。GPT-3はコードを完成させたり、人間のように質問に答えたり、短い自然言語プロンプトだけでコンテンツを生成したりすることができます。一方、DALLE 2は単純なテキストの説明に応じて画像を作成することができます。これらのモデルは人工知能と機械学習の大きな変革に貢献し、パラダイムシフトを実現するのに役立っています。

増え続けるモデルの開発に伴い、それらの広範な計算、メモリ、ハードウェアアクセラレーションの要件を収容するために強力なサーバーが必要となります。これらのモデルを非常に効果的かつ効率的にするためには、それらが消費者のデバイス上で独立して実行できる必要があります。これにより、アクセス性と利用可能性が高まり、ユーザーはインターネット接続やクラウドサーバーへの依存なしに、個人のデバイスで強力なAIツールにアクセスできるようになります。最近、MLC-LLMが導入されました。これはLLMをCUDA、Vulkan、Metalなどの広範なプラットフォームにGPUアクセラレーションとともに直接導入するオープンフレームワークです。

MLC LLMは、CPUやGPU、ネイティブアプリケーションを含むさまざまなハードウェアバックエンドにモデルを展開することができます。これは、サーバーやクラウドベースのインフラストラクチャが必要なく、任意の言語モデルをローカルデバイス上で実行できることを意味します。MLC LLMは、開発者が自然言語処理（NLP）やコンピュータビジョンなどの自分のユースケースに合わせてモデルのパフォーマンスを最適化するための生産性の高いフレームワークを提供します。さらに、ローカルのGPUを使用してアクセラレーションすることもできるため、個人のデバイス上で高精度かつ高速な複雑なモデルを実行することが可能です。

• 「機械学習モデルからの情報漏洩を分析し、制約するための新しいAIの理論的枠組み」
• PaLM AI | Googleの自家製生成AI
• 「TxGNN（テキストジーノーディープラーニング）にお会いしましょう：ジオメトリックディープラーニングとヒューマンセンタードAIを活用して、17,080の疾患の広範な範囲にわたる治療利用のゼロショット予測を行う新しいモデル」

LLMやチャットボットをデバイス上でネイティブに実行するための具体的な手順が、iPhone、Windows、Linux、Mac、Webブラウザーに提供されています。iPhoneユーザー向けには、MLC LLMがTestFlightページを介してインストールできるiOSチャットアプリが提供されています。アプリはスムーズに実行するために少なくとも6GBのメモリが必要であり、iPhone 14 Pro MaxとiPhone 12 Proでテストされています。iOSアプリ上でのテキスト生成速度は、時折不安定になることがあり、最初は遅くなることがありますが、通常の速度に回復します。

Windows、Linux、Macユーザー向けには、MLC LLMがターミナルでボットとチャットするためのコマンドラインインターフェース（CLI）アプリを提供しています。CLIアプリをインストールする前に、Condaなどの依存関係と、WindowsとLinuxのNVIDIA GPUユーザー向けの最新のVulkanドライバーなどをインストールする必要があります。依存関係をインストールした後、ユーザーはCLIアプリをインストールし、ボットとチャットを開始するための手順に従うことができます。Webブラウザーを使用するユーザー向けには、MLC LLMはWebLLMという補完プロジェクトを提供しており、モデルをブラウザーにネイティブに展開します。すべての操作はブラウザー内で実行され、サーバーのサポートなしでWebGPUでアクセラレーションされます。

結論として、MLC LLMは多様なハードウェアバックエンドとネイティブアプリケーション上でLLMを展開するための信じられないほどの汎用的なソリューションです。様々なデバイスとハードウェア構成で実行できるモデルを構築したい開発者にとって、これは素晴らしいオプションです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!