シートベルトを締めてください：ファルコン180Bが登場しました！

「美とファッションのエキスパートがご紹介！シートベルトを締めてください：新たなファルコン180Bが華麗に登場！」

数ヶ月前、私達は Falcon LLM について学びました。Falcon LLM はアブダビ政府の高度技術研究評議会に所属するテクノロジーイノベーション研究所（TII）によって設立されました。数ヶ月後、彼らはさらに大きく、さらに良くなったのです – 文字通りとても大きくなったと言えます。

Falcon 180B: すべて知っていること

• ニューラルネットワークの活性化関数
• ギアに乗り込んでください：「Forza Motorsport」がGeForce NOWに登場
• AI Time Journalは、「サイバーセキュリティのトレンド2023」eBookを発表し、進化する脅威の景観を明らかにします

Falcon 180B は、1800億パラメーターを持つ最大の公開言語モデルです。そうです、あなたは正しく読みました – 1800億です。これはTIIのRefinedWebデータセットを使用して3.5兆トークンでトレーニングされました。これは、オープンモデルにおける最長の単一エポックの事前トレーニングを表しています。

しかし、私たちがここで焦点を当てるのはモデルのサイズだけではありません。それに加えて、Falcon 180B にはそのパワーとポテンシャルもあります。Falcon 180B は、大規模言語モデル（LLM）において新たな基準を作り出しています。

利用可能なモデル：

• Falcon 180B
• Falcon 180B チャット

Falcon-180B ベースモデルは原因のデコーダモデルです。このモデルを使用して、独自のデータをさらに詳細に微調整することをお勧めします。

Falcon-180B-Chatモデルは、ベースバージョンと類似していますが、Ultrachat、Platypus、およびAiroborosの指示（チャット）データセットを使用してより深く微調整を行います。

トレーニング

Falcon 180B は、前身モデルの Falcon 40B と比較してスケールアップし、多対多の注意力による拡張性の向上などの新しい機能を備えています。このモデルは Amazon SageMaker 上の4096個のGPUを使用してトレーニングされ、3.5兆トークンでトレーニングされました。これはおよそ7,000,000時間のGPUを意味します。つまり、Falcon 180B は Llama 2 などの LLM よりも2.5倍早く、4倍の計算量でトレーニングされました。

ワオ、それはたくさんですね。

データ

Falcon 180B に使用されたデータセットは、主に RefineWeb から取得されたもの（85%）であり、技術論文、会話、および一部のコードの要素などのキュレーションされたデータを使用してトレーニングされました。

ベンチマーク

皆さんが知りたい部分 – Falcon 180B は競合他社の中でどのようにしているのでしょうか？

Falcon 180B は現在、最も優れた公開された LLM（2023年9月現在）です。MMLU において、Llama 2 70B や OpenAI の GPT-3.5 を上回る性能を発揮しています。この記事をご覧ください。通常、GPT 3.5 と GPT 4 の間の性能を発揮します。

Falcon 180B は Hugging Face リーダーボードで 68.74 のスコアを獲得し、メタの LLaMA 2 の 67.35 を上回り、公開された事前トレーニング済み LLM で最も高いスコアを獲得しています。

Falcon 180B の使い方

開発者や自然言語処理 (NLP) の愛好家のために、Falcon 180B は Hugging Face エコシステムで利用可能です。Transformers バージョン 4.33 から利用できます。

ただし、モデルのサイズにより、ハードウェアの要件を考慮する必要があります。ハードウェアの要件に関するより良い理解を得るために、HuggingFace はさまざまなユースケースでモデルを実行するために必要なテストを実施しました。以下のイメージをご覧ください。

  

テストして遊んでみたい場合は、このリンクをクリックしてFalcon 180Bデモを試してみることができます：Falcon 180Bデモ。

 

Falcon 180B vs ChatGPT

 

モデルは誰にでも簡単にアクセスできない重要なハードウェア要件があります。しかし、他の人々がFalcon 180BとChatGPTのテストを行い、同じ質問をして比較した結果、ChatGPTが優勝しました。

コード生成では優れたパフォーマンスを発揮しましたが、テキストの抽出と要約にはブーストが必要です。

 

まとめ

 

使ってみる機会があれば、他のLLMとの比較結果を教えてください。Falcon 180Bは、現在、Hugging Faceモデルハブで最も大きく公開されているモデルであるため、周りにあるハイプに値すると思いますか？

いくつかのオープンアクセスモデルの中でトップになっており、PaLM-2などのモデルに対しても十分な性能を持っているようです。遅かれ早かれわかるでしょう。Nisha Aryaさんは、データサイエンティスト、フリーランスの技術ライターであり、VoAGIのコミュニティマネージャーです。データサイエンスのキャリアアドバイスやチュートリアル、理論ベースのデータサイエンスの知識を提供することに特に興味を持っています。また、人間の寿命の長さに人工知能がどのように役立つ/役立つかを探求したいと考えています。自身は積極的に学び、他の人々をガイドすることで技術知識と文章スキルを広げたいと思っています。

****[Nisha Arya](https://www.linkedin.com/in/nisha-arya-ahmed/)****さんは、データサイエンティストであり、フリーランスの技術ライターです。データサイエンスのキャリアアドバイスやチュートリアル、理論ベースのデータサイエンスの知識を提供することに特に興味を持っています。また、人間の寿命の長さに人工知能がどのように役立つ/役立つかを探求したいと考えています。自身は積極的に学び、他の人々をガイドすることで技術知識と文章スキルを広げたいと思っています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!