GPU を最大限に活用せずに LLM を微調整する

GPUを活用しないでLLMを微調整する

限られたハードウェアと予算でLLMを微調整する方法

ユーザー定義のLLMの需要

ChatGPTの成功により、ユーザー定義の大規模言語モデルの需要が急増しています。

ただし、これらのモデルは非常に大きいため、予算が限られたビジネスや研究者、または趣味のある人々が自分のデータセットにカスタマイズすることは困難でした。

しかし、パラメータ効率の良い微調整（PEFT）手法の革新により、比較的低コストで大規模言語モデルを微調整することが完全に可能になりました。この記事では、Google Colabでこれを実現する方法を示します。

この記事は、実践者、趣味のある人、学習者、さらにはハンズオンのスタートアップ創業者にとっても有益な情報となることを予想しています。

• 時系列予測における相互作用項に関する包括的なガイド
• 「3年間の経験から厳選された130の機械学習のテクニックとリソース（さらに無料のeBookも含む）」
• 「ODSC APAC 2023の追加スピーカーが発表されました」

ですので、安価なプロトタイプを作成したり、アイデアをテストしたり、他の人と差別化されたクールなデータサイエンスプロジェクトを作成したい場合は、読み続けてください。

なぜ微調整を行うのか

企業はしばしばプライベートなデータセットを使用してプロセスを推進しています。

例を挙げると、私は銀行で働いていましたが、お客様の苦情をExcelスプレッドシートに記録していました。アナリストはこれらの苦情を報告目的で分類するために責任を持っていましたが、手作業での作業であり、時間がかかり、ヒューマンエラーのリスクがありました。

もしリソースがあれば、大規模言語モデルを微調整してこの分類作業を自動化し、不正確な分類の割合を減らすことができたでしょう。

この例に触発され、この記事の残りの部分では、金融製品およびサービスに関する消費者の苦情を分類するためのLLMを微調整する方法を示します。

データセット

このデータセットには、金融サービスおよび製品に関する実際の消費者の苦情データが含まれています。これは、Consumer Financial Protection Bureauによって公開されたオープンな公開データです。

約12万件の匿名化された苦情があり、約214の「サブイシュー」に分類されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!