「xTuringに会ってください：たった3行のコードで自分自身の大規模言語モデル（LLM）を作成できるオープンソースツール」

Meet xTuring An open-source tool for creating your own large-scale language model (LLM) in just 3 lines of code.

特定のアプリケーションのための大規模な言語モデル（LLM）の実用的な実装は、現在のところ、ほとんどの個人にとって困難です。特定のドメイン向けに高い精度と速度でコンテンツを生成したり、作文スタイルを模倣したりするためには、時間と専門知識が必要です。

Stochasticは、LLMの最適化と高速化に特化した明るいMLエンジニア、ポストドク、およびハーバード大学の卒業生のチームを持っています。彼らはxTuringというオープンソースのソリューションを紹介しており、ユーザーはたった3行のコードで独自のLLMを作成することができます。

自動テキストデリバリー、チャットボット、言語翻訳、コンテンツ制作などのアプリケーションは、これらの概念を活用して新しいアプリケーションを開発・作成しようとする人々の関心の対象です。これらのモデルをトレーニングや微調整することは、時間と費用がかかることがありますが、xTuringを使用すると、LLaMA、GPT-J、GPT-2、または他の手法を使用して、モデルの最適化を簡単かつ迅速に行うことができます。

• NotebookLM グーグルの実験的なAIノートブック、学習と洞察のための向上したもの
• 「PolyLM（Polyglot Large Language Model）に会ってください：640BトークンでトレーニングされたオープンソースのマルチリンガルLLMで、2つのモデルサイズ1.7Bと13Bが利用可能です」
• 「2023年のトップコンピュータビジョンツール/プラットフォーム」

xTuringの単一GPUまたはマルチGPUトレーニングフレームワークとしての汎用性により、ユーザーは特定のハードウェア構成にモデルを合わせることができます。メモリ効率の高い微調整手法（LoRAなど）をxTuringは使用しており、学習プロセスを高速化し、ハードウェアの費用を最大90%削減します。メモリの使用量を減らすことにより、LoRAはより迅速かつ効果的なモデルトレーニングを容易にします。

xTuringの微調整能力を評価するために、LLaMA 7Bモデルがベンチマークとして使用され、xTuringを他の微調整手法と比較したチームがあります。データセットは52Kの命令で構成され、335GBのCPUメモリと4つのA100 GPUが使用されました。

結果は、DeepSpeed + CPUオフロードを使用して、LLaMA 7Bモデルを1エポックあたり21時間トレーニングした場合、GPUの使用量は33.5GB、CPUの使用量は190GBでした。一方、LoRA + DeepSpeedまたはLoRA + DeepSpeed + CPUオフロードを使用して微調整する場合、メモリ使用量はそれぞれ23.7GBと21.9GBに劇的に減少しました。CPUによって使用されるRAMの量は14.9GBから10.2GBに減少しました。さらに、LoRA + DeepSpeedまたはLoRA + DeepSpeed + CPUオフロードを使用すると、トレーニング時間は1エポックあたり40分から20分に短縮されました。

xTuringを始めるのは簡単です。ツールのユーザーインターフェースは直感的に学習し使用できるように設計されています。ユーザーはマウスクリック数回でモデルを微調整し、xTuringが残りの作業を行います。使いやすさから、xTuringはLLMに初めて取り組む人や経験豊富な人にとっても優れた選択肢です。

チームによると、xTuringは大規模な言語モデルの微調整に最適なオプションであり、単一およびマルチGPUトレーニングが可能であり、LoRAのようなメモリ効率の高い手法を使用しており、直感的なインターフェースを備えています。

詳細については、Github、プロジェクト、および参考文献をご覧ください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、クールなAIプロジェクトなどを共有している17,000人以上のML SubReddit、Discordチャンネル、およびメールニュースレターにぜひご参加ください。

この記事はMarkTechPostによるものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!