世界最大のオープンマルチリンガル言語モデル「BLOOM」をご紹介します

Introducing the world's largest open multilingual language model, BLOOM.

大規模言語モデル(LLM)は、AI研究に大きな影響を与えています。これらの強力な汎用モデルは、ユーザーの指示に基づいてさまざまな言語タスクを遂行することができます。しかし、学術界、非営利団体、および中小企業の研究所は、それらを作成、研究、または使用することが困難であり、必要なリソースと独占的な権利を持つわずかな産業研究所だけが完全にアクセスできます。今日、私たちは初めて完全な透明性で訓練された最初の多言語LLMであるBLOOMを公開し、この現状を変えます。これは、AI研究者が単一の研究プロジェクトに関与した最大の共同研究の成果です。

BLOOMは1760億のパラメータを持ち、46の自然言語と13のプログラミング言語でテキストを生成することができます。スペイン語、フランス語、アラビア語などのほとんどすべての言語において、BLOOMはこれまでに作成された1000億以上のパラメータを持つ最初の言語モデルとなります。これは、70以上の国と250以上の機関から1000人以上の研究者が関与した1年の作業の集大成であり、フランスのパリ南部にあるJean ZayスーパーコンピュータでのBLOOMモデルのトレーニングは、フランスの研究機関CNRSとGENCIからの推定300万ユーロ相当の計算助成金によって可能になりました。

研究者は今やBLOOMをダウンロードして実行し、最新の大規模言語モデルの性能と動作を、最も深い内部操作まで調査することができます。また、ビッグサイエンスプロジェクト自体で開発されたモデルの責任あるAIライセンスの条件に同意する個人や機関は、ローカルマシンやクラウドプロバイダ上でモデルを使用し、拡張することができます。この協力と継続的な改善の精神のもと、トレーニングの中間チェックポイントと最適化器の状態も初めて公開します。8つのA100を使って遊ぶ余裕がありませんか?現在はGoogleのTPUクラウドにバックアップされた推論APIとモデルのFLAXバージョンも提供されており、迅速なテスト、プロトタイピング、および小規模な使用が可能です。Hugging Face Hubで既に試すことができます。

これはまだ始まりに過ぎません。BLOOMの機能は、ワークショップがモデルを実験し、調整し続けることでさらに向上していきます。私たちは、以前の努力であるT0++と同様にBLOOMを指示可能にするための作業を開始し、さらに言語を追加し、モデルをより使いやすいバージョンに圧縮し、より複雑なアーキテクチャの出発点として使用する予定です… 1000億以上のパラメータモデルの力を持つ実験のすべてが、現在は可能です。BLOOMは、成長するモデルの種であり、一度きりのモデルではありません。私たちは、それを拡大するためのコミュニティの取り組みをサポートする準備ができています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

Falcon AI 新しいオープンソースの大規模言語モデル

はじめに Open AIによるGPT(Generative Pre Trained)の発表以来、世界はGenerative AIによって大いに沸き立っています。そ...

AIニュース

ChatGPTのようなChatBot Zhinaoは、何を言うべきか、何を言うべきでないかを知っています

生成型人工知能(AI)はテック界隈で中心的な役割を果たしていますが、綿密に制御されたインターネット環境での運用はほとん...

機械学習

「なんでもセグメント:任意のオブジェクトのセグメンテーションを促す」

今日の論文解説はビジュアルになります!私たちはMetaのAI研究チームによる論文「Segment Anything」を分析しますこの論文は...

データサイエンス

「LangchainなしでPDFチャットボットを構築する方法」

はじめに Chatgptのリリース以来、AI領域では進歩のペースが減速する気配はありません。毎日新しいツールや技術が開発されて...

機械学習

統合と自動化の簡素化:Boomi CTOが開発者と共有するビジョン

アイと自動化を活用した民主化された統合プラットフォームは、複雑なタスクを単純化し、持続的な進化を推進します

機械学習

チューリングのミル:AIスーパーコンピューターが英国の経済エンジンを加速

産業革命の発祥地であるイギリスが、次なる革命に巨額な投資を行うことを発表しました。 イギリス政府は、世界最速のAIスパー...