効率的にオープンソースのLLMを提供する

効率的なオープンソースのLLM提供

この記事では、オープンソースのLLM（Language Model）を提供するための一般的な6つの方法を使用した個人的な経験を説明します：AWS Sage Maker、Hugging Face、Together.AI、VLLM、Petals.ml。

苦労…

自分自身でファインチューニングされたオープンソースのLLMを提供する苦労と栄光を感じたことがあるかもしれませんが、最終的にはコスト、推論時間、信頼性、技術的な課題のためにOpen AIやAnthropicに戻ることを決めました 🙁 A100 GPUを借りるのを諦めたこともあるかもしれません（多くのプロバイダーが2023年の終わりまで完全に予約済みです！）。そして、2段構造のA100サーバーボックスに10万ドルを投資する余裕もありません。それでも、夢を見ており、オープンソースを自分の解決策に適用したいと思っています。おそらく、会社はプライベートデータをOpen AIに送りたくないのか、非常に特定のタスクに適したファインチューニングモデルが必要なのかもしれません。この記事では、2023年にオープンソースのLLMを提供するための最も効果的な推論方法/プラットフォームを概説し、比較します。6つの方法を比較し、それぞれの使用場面について説明します。これらのソリューションのすべてを個人的に試してみ、その経験について詳しく説明します：AWS Sage Maker、Hugging Face Inferenceエンドポイント、Together.AI、VLLM、Petals.ml。全ての答えを持っているわけではありませんが、私の経験を詳しく紹介するためにこれらのプロバイダーとは金銭的な関係はありません。単に他の人のために私の経験を共有しています。あなたの経験について教えてください！

なぜオープンソースを選ぶのか？

オープンソースモデルには、制御、プライバシー、コスト削減などの数々の利点があります。たとえば、特定のユースケースに合わせて小さなオープンソースモデルをファインチューニングすることで、正確な結果と高速な推論時間を得ることができます。プライバシーの制御は、推論を独自のサーバーで行うことができることを意味します。一方、コスト削減は思っているよりもはるかに困難です。Open AIは規模の経済効果を持っており、競争力のある価格設定をしています。GPT-3.5 turboの価格モデルは非常に競合力があり、電気のコストと類似していることが示されています。それでも、コストを節約し、オープンソースモデルで優れた結果を得るための方法やテクニックがあります。たとえば、私のファインチューニングされたStable Beluga 2モデルは現在、GPT-3.5 Turboを大幅に上回り、私のアプリケーションではより安価です。ですので…

• 「ロジスティック回帰の謎解き：簡単なガイド」
• 「なぜより多くがより良いのか（人工知能において）」
• ビジュアルトランスフォーマー（ViT）モデルのコードに深く潜る

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!