「テキスト生成推論によるコンピュータからの大規模言語モデルの提供」

Providing large-scale language models from computers using text generation inference

Falcon-7BのInstructバージョンの例

Nana Duaさんによる写真、Unsplashから

QLoRaやGPTQなどの量子化手法のおかげで、消費者向けハードウェア上で非常に大きな言語モデル(LLM)をローカルで実行することができるようになりました。

LLMの読み込みにかかる時間の長さを考慮すると、LLMをメモリに保持してクエリを実行し、結果を即座に得ることも望ましいでしょう。標準の推論パイプラインでLLMを使用する場合、モデルを毎回再読み込みする必要があります。モデルが非常に大きい場合、モデルが出力を生成するまで数分待つ必要があるかもしれません。

LLMをサーバー(ローカルまたはリモート)にホストするためのさまざまなフレームワークがあります。私のブログでは、NVIDIAが開発した非常に最適化されたフレームワークであるTriton Inference Serverを既に紹介しています。このフレームワークを使用すると、複数のLLMを提供し、GPU間の負荷を分散させることができます。ただし、1つのGPUしか持っておらず、モデルをコンピューター上にホストしたい場合、Triton Inferenceの使用は適していないかもしれません。

この記事では、Text Generation Inferenceという代替手法を紹介します。これは、消費者向けハードウェア上でLLMを実行し提供するための最小限の機能を実装したより直感的なフレームワークです。

この記事を読み終えると、コンピューター上にローカルで展開され、クエリを待機するチャットモデル/LLMを持つことができます。

テキスト生成インファレンス

テキスト生成インファレンス(TGI)は、LLMを展開し提供するためのRustとPythonで書かれたフレームワークです。Hugging Faceによって開発され、Apache 2.0ライセンスで配布されています。Hugging Faceは、製品で推論ウィジェットのパワーとして使用しています。

TGIはA100 GPU向けに最適化されていますが、RTX GPUなどの消費者向けハードウェアでも、量子化とページドアテンションのサポートにより、TGIは非常に適していると私は見つけました。ただし、RTX GPUをサポートするためには特定のインストールが必要です。これについては、この記事で後ほど詳しく説明します。

最近、Hugging FaceがいくつかのLLMアーキテクチャを最適化して、TGIでより高速に実行できるようにしていることも分かりました。

例えば、Falconモデルは、標準の推論パイプラインで実行すると比較的遅いですが、TGIを使用するとはるかに高速です…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

生成AIを使用して検索(およびブラウジング)しながら学びます

「Search Generative Experience(SGE)の新しいアップデートにより、人々はオンラインで検索しながら新しいことを簡単に学び...

機械学習

「機械学習手法を用いたJava静的解析ツールレポートのトリアージに関する研究」

この研究では、最新の機械学習技術を利用して、Java静的解析ツールからの効果的な発見の選別について詳しく探求しています

人工知能

「Bard」を活用するための10の役立つ方法

「アイデアのブレストから旅行のスケジュール作成まで、Bardがあなたの仕事を手助けする10の方法をチェックしてみてください」

AIニュース

ディープサーチ:Microsoft BingがGPT-4と統合

Microsoftは、OpenAIのGPT-4技術と統合した最新機能でオンライン検索を革命化する予定です。このBingの機能強化により、複雑...

機械学習

「ディープランゲージモデルは、コンテキストから次の単語を予測することを学ぶことで、ますます優れてきていますこれが本当に人間の脳が行っていることなのでしょうか?」

ディープラーニングは、テキスト生成、翻訳、および補完の分野で最近大きな進歩を遂げています。周囲の文脈から単語を予測す...

AIニュース

「AIサイバーセキュリティのスタートアップ企業、ヨーロッパと今度はアメリカからも、参集!」

新しいGoogle for Startups成長アカデミーの開始:ヨーロッパとアメリカに拠点を置く企業のためのAIセキュリティプログラムの...