世界最大のオープンマルチリンガル言語モデル「BLOOM」をご紹介します

Introducing the world's largest open multilingual language model, BLOOM.

大規模言語モデル(LLM)は、AI研究に大きな影響を与えています。これらの強力な汎用モデルは、ユーザーの指示に基づいてさまざまな言語タスクを遂行することができます。しかし、学術界、非営利団体、および中小企業の研究所は、それらを作成、研究、または使用することが困難であり、必要なリソースと独占的な権利を持つわずかな産業研究所だけが完全にアクセスできます。今日、私たちは初めて完全な透明性で訓練された最初の多言語LLMであるBLOOMを公開し、この現状を変えます。これは、AI研究者が単一の研究プロジェクトに関与した最大の共同研究の成果です。

BLOOMは1760億のパラメータを持ち、46の自然言語と13のプログラミング言語でテキストを生成することができます。スペイン語、フランス語、アラビア語などのほとんどすべての言語において、BLOOMはこれまでに作成された1000億以上のパラメータを持つ最初の言語モデルとなります。これは、70以上の国と250以上の機関から1000人以上の研究者が関与した1年の作業の集大成であり、フランスのパリ南部にあるJean ZayスーパーコンピュータでのBLOOMモデルのトレーニングは、フランスの研究機関CNRSとGENCIからの推定300万ユーロ相当の計算助成金によって可能になりました。

研究者は今やBLOOMをダウンロードして実行し、最新の大規模言語モデルの性能と動作を、最も深い内部操作まで調査することができます。また、ビッグサイエンスプロジェクト自体で開発されたモデルの責任あるAIライセンスの条件に同意する個人や機関は、ローカルマシンやクラウドプロバイダ上でモデルを使用し、拡張することができます。この協力と継続的な改善の精神のもと、トレーニングの中間チェックポイントと最適化器の状態も初めて公開します。8つのA100を使って遊ぶ余裕がありませんか?現在はGoogleのTPUクラウドにバックアップされた推論APIとモデルのFLAXバージョンも提供されており、迅速なテスト、プロトタイピング、および小規模な使用が可能です。Hugging Face Hubで既に試すことができます。

これはまだ始まりに過ぎません。BLOOMの機能は、ワークショップがモデルを実験し、調整し続けることでさらに向上していきます。私たちは、以前の努力であるT0++と同様にBLOOMを指示可能にするための作業を開始し、さらに言語を追加し、モデルをより使いやすいバージョンに圧縮し、より複雑なアーキテクチャの出発点として使用する予定です… 1000億以上のパラメータモデルの力を持つ実験のすべてが、現在は可能です。BLOOMは、成長するモデルの種であり、一度きりのモデルではありません。私たちは、それを拡大するためのコミュニティの取り組みをサポートする準備ができています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

マイクロソフトの研究者が提案するTaskWeaver:LLMを活用した自律エージェントの構築のためのコード優先の機械学習フレームワーク

大規模言語モデル(LLMs)は、印象的な自然言語生成および解釈能力を示しています。これらのモデルの例には、GPT、Claude、Pa...

人工知能

「仕事の未来:スキルアップしないと取り残される」

AIの仕事への二重の影響、再スキル化の重要性、および労働者、企業、政府などに関連する倫理的な課題を探求してください

機械学習

このスペースを見る:AIを使用してリスクを推定し、資産を監視し、クレームを分析する新しい空間金融の分野

金融の意思決定をする際には、ドローン、衛星、またはAIパワードセンサーから取得した大局的な情報を見ることが重要です。 空...

人工知能

5分で作成するLow-Code GPT AIアプリを作成する

AIとデータベースの相互作用にAIのツール、AINIROとOpenAIのGPTを組み合わせることで、5分で完全なデータベースをCRUDアプリ...

データサイエンス

テキストから画像への革命:SegmindのSD-1Bモデルが最速のゲームで登場

紹介 Segmind AIは、画期的なオープンソースのテキストから画像への生成モデルであるSSD-1B(Segmind Stable Diffusion 1B)...

人工知能

AIの世界で生き残るにはどうすればいいですか?あなたの仕事は危険にさらされていますか?

あなたの仕事は危険にさらされていますか?これは多くの労働者が悩む質問ですが、最近の解雇の文脈ではありません私が言って...