『オープンソースLLMの歴史：模倣と整合性（パート３）』

Breathing Life into the History of Open Source LLM Emulation and Consistency (Part 3)

オープンソースLLMは真に素晴らしいものになるために調整が必要です…

オープンソースの大規模言語モデル（LLM）に関する過去の研究の大部分は、主に事前学習を行ったベースモデルの作成に重点を置いていました。しかし、これらのモデルは微調整を行っていないため、適切に整合していないため、トップのクローズドソースのLLM（例：ChatGPTやClaude）の品質には及びません。有料のモデルは、SFTやRLHFなどの技術を使用して包括的に整列されており、大幅に使いやすくなっています。その一方、オープンソースのモデルは通常、より小さな公開データセットを使用して、より少ない範囲で微調整されます。しかしこの概要では、より包括的な微調整と整列を通じて、オープンソースLLMの品質を改善しようとする最近の研究を見てみましょう。

この概要は、オープンソースLLMの歴史に関する私のシリーズの3番目（かつ最後の）パートです。シリーズの最初のパートでは、オープンソース言語モデルの最初の試みについて見てきました。これらの最初の事前学習LLMは性能が低かったものの、すぐにはるかに優れたオープンソースベースモデルが続きました。これについては、シリーズの第2部でカバーしました。そして今、これらのより良いオープンソースモデルは、品質を向上させ、オープンソースとプロプライエタリのLLMのパフォーマンスのギャップを埋めるために、より詳細な微調整/整列が可能です。これにより、初期モデル（OPTなど）から現在の非常に高性能なオープンソースLLM（例：LLaMA-2-Chat）まで、旅を完了させることができます。

整列のプロセス。この概要では、オープンソースLLMの微調整と整列のプロセスについて学びます。 この領域での研究を学ぶ前に、整列が何であるか、そしてどのように実現されるかについて理解する必要があります。 言語モデルのトレーニングプロセスは、いくつかのパートで進行します。 上記のように、まず事前学習から始め、その後、いくつかの微調整手順が続きます。 事前学習の後、LLMは正確に次の操作を実行できます…

• 「DAXで株式対策を更に進める」
• ２０２３年は大規模言語モデルの年でした：当時と現在の比較
• 「変革を受け入れる：AWSとNVIDIAが創発的なAIとクラウドイノベーションを進める」

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!