スタビリティAIは、Beluga 1およびStable Beluga 2の新しいオープンアクセスLLMをリリースしました

Stability AI released new open access LLM for Beluga 1 and Stable Beluga 2.

新しいブログで、Stability AIとそのCarperAIラボは、Stable Beluga 1とその後継機であるStable Beluga 2（以前はFreeWillyとして知られていました）を公開しました。彼らの投稿によれば、これらの2つのLarge Language Modelsの目標は、オープンアクセスのAI研究の拡大と新しい基準の創造です。

Stable Beluga 1は、LLaMA 65Bモデルの基盤を築いています。新たに合成生成されたデータセットを使用して、標準のアルパカ形式でSupervised Fine-Tune（SFT）によるファインチューニングが行われています。同様に、Stable Beluga 2はLLaMA 270B基盤モデルのパワーを活用しています。投稿によれば、これによって業界をリードするパフォーマンスが得られます。

両モデルは、非商業ライセンスのもとでオープンな研究イニシアチブを推進するための魅力的な研究実験として浮上しました。内部チームは両モデルが「礼儀正しくて良性である」ことを保証しました。しかし、彼らはまた、コミュニティがさらなるレッドチームングに参加することを望んでいます。

• 「先延ばしハック：ChatGPTを使ってプロジェクトをビデオゲームに変える」
• 「AIの擬人化：人間が共感を求める場所を間違えている」
• 「カイリー・ヴェルゾサがAI企業とパートナーシップを結び、自身のAIモデルを作ることを発表しました」

Stable Belugaモデルのデータ生成と収集の旅は、Microsoftの「Orca: GPT-4の複雑な説明のトレースからの進行的学習」で概説された手法に着想を得ています。投稿では、彼らのプロセスは似ていたが、データソースについては別のルートを取ったと述べています。

彼らはさらに、合成データセットには60万件のデータポイントが含まれていると述べました。これは高品質な指示からキュレーションされ、Enrico Shippoleのデータセットのバリアントです：

• COT Submix Original
• NIV2 Submix Original
• FLAN 2021 Submix Original
• T0 Submix Original

投稿の中で、これらのデータセットのフィルタリングが評価ベンチマークからの例を削除したことを述べています。彼らによれば、これは公平な競争環境を確保するためのものです。元のOrca論文で使用されたデータの一部でトレーニングされたにもかかわらず、Stable Belugaモデルは多様なベンチマークで驚異的なパフォーマンスを発揮することができました。Stability AIの見解では、これは彼らの合成生成データセットへのアプローチが妥当化されたことを示しています。

最後に、投稿ではHugging Faceが両Belugaモデルのメトリクスを検証できたと述べています。その結果はOpen LLM Leaderboardに公開されました。現在、Stable Beluga 2は2位、Stable Beluga 1は7位です。

編集者の注意：ディープラーニングはAI開発の未来において重要なトピックとなりつつあり、最新の動向を把握するためには業界のリーダーからの情報が必要です。ODSC West 2023 Deep Learning & Machine Learning Trackでそれを手に入れることができます。席を確保して今すぐ登録してください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!