「テキスト生成推論によるコンピュータからの大規模言語モデルの提供」

Providing large-scale language models from computers using text generation inference

Falcon-7BのInstructバージョンの例

Nana Duaさんによる写真、Unsplashから

QLoRaやGPTQなどの量子化手法のおかげで、消費者向けハードウェア上で非常に大きな言語モデル(LLM)をローカルで実行することができるようになりました。

LLMの読み込みにかかる時間の長さを考慮すると、LLMをメモリに保持してクエリを実行し、結果を即座に得ることも望ましいでしょう。標準の推論パイプラインでLLMを使用する場合、モデルを毎回再読み込みする必要があります。モデルが非常に大きい場合、モデルが出力を生成するまで数分待つ必要があるかもしれません。

LLMをサーバー(ローカルまたはリモート)にホストするためのさまざまなフレームワークがあります。私のブログでは、NVIDIAが開発した非常に最適化されたフレームワークであるTriton Inference Serverを既に紹介しています。このフレームワークを使用すると、複数のLLMを提供し、GPU間の負荷を分散させることができます。ただし、1つのGPUしか持っておらず、モデルをコンピューター上にホストしたい場合、Triton Inferenceの使用は適していないかもしれません。

この記事では、Text Generation Inferenceという代替手法を紹介します。これは、消費者向けハードウェア上でLLMを実行し提供するための最小限の機能を実装したより直感的なフレームワークです。

この記事を読み終えると、コンピューター上にローカルで展開され、クエリを待機するチャットモデル/LLMを持つことができます。

テキスト生成インファレンス

テキスト生成インファレンス(TGI)は、LLMを展開し提供するためのRustとPythonで書かれたフレームワークです。Hugging Faceによって開発され、Apache 2.0ライセンスで配布されています。Hugging Faceは、製品で推論ウィジェットのパワーとして使用しています。

TGIはA100 GPU向けに最適化されていますが、RTX GPUなどの消費者向けハードウェアでも、量子化とページドアテンションのサポートにより、TGIは非常に適していると私は見つけました。ただし、RTX GPUをサポートするためには特定のインストールが必要です。これについては、この記事で後ほど詳しく説明します。

最近、Hugging FaceがいくつかのLLMアーキテクチャを最適化して、TGIでより高速に実行できるようにしていることも分かりました。

例えば、Falconモデルは、標準の推論パイプラインで実行すると比較的遅いですが、TGIを使用するとはるかに高速です…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

API管理を使用してAIパワードJavaアプリを管理する

OpenAIのChatGPT APIをSpring Bootアプリケーションに統合し、オープンソースのAPIゲートウェイであるApache APISIXを使用し...

機械学習

ビジネスにおけるオープンソースと専有モデルの選択:生成型人工知能の展開において

ジェネレーティブAIへの関心の高まりにより、2023年中頃には約350社の企業がこの分野に参入しました[1]それぞれが基礎モデル...

AIニュース

AIマニア:バブルがはじける方向に向かっているのか?

仮想通貨ブームの後、人工知能(AI)の世界はベンチャーキャピタリスト(VC)の関心の大きな急増を経験しました。しかし、仮...

機械学習

SalesForce AIはCodeChainを導入:代表的なサブモジュールによる自己改訂の連鎖を通じたモジュラーコード生成のための革新的な人工知能フレームワーク

“`html 人工知能の研究における重要な目標の一つは、困難な問題に対処するための有用なコンピュータプログラムを提供で...

機械学習

バイオメディカルインサイトのための生成AI

OpenBIOMLとBIO GPTを利用したGenerative AIを探求し、Large Language Models (LLMs)を使用して疾患の理解と治療に新たなアプ...

人工知能

「ビジネスを成長させるための50のChatGPTプロンプト」

ビジネスで成功するのは難しいですもしChatGPTの使い方を学ばないなら、さらに困難になるでしょう