「Baichuan-13Bに会いましょう：中国のオープンソースの大規模言語モデル、OpenAIに対抗する」

Let's meet Baichuan-13B China's open-source large-scale language model competing against OpenAI.

中国の検索エンジンSogouの創設者、王小川氏は、彼の企業である百川インテリジェンスを通じて、新しい巨大な言語モデル「Baichuan-13B」をリリースしました。プログラマーや研究者による商業利用は現在制限されています。Sogouの創設者である王小川氏は最近、ウェイボーで「中国には独自のOpenAIが必要だ」と投稿しました。中国のビジネスマンは、彼の新興企業である百川インテリジェンスが次世代の大規模言語モデル「Baichuan-13B」をリリースしたことで、そのビジョンの実現に一歩近づいています。百川は3か月前に立ち上げられ、5,000万ドルを出資する意志を持った投資家たちを迅速に引き付けました。創設者の卓越したコンピューターサイエンスのスキルの結果、彼の組織は現在、中国で最も有望な巨大な言語モデルの創造者の一人と見なされています。

Baichuan-13Bは、GPTやほとんどの国産中国語バリアントと同じトランスフォーマーデザインに従います。中国語と英語の両方のデータでトレーニングされた13兆のパラメータ（テキスト生成と分析に使用される変数）がバイリンガルです。このモデルはオープンソースであり、営利目的で使用することができます。また、GitHubのデータを使用して構築されました。

Baichuan-7Bの成功に続き、百川インテリジェントテクノロジーは13兆のパラメータを持つ商業利用可能なオープンソースの大規模言語モデル「Baichuan-13B」を作成しました。中国語と英語の基準において、同様のサイズの競合他社を上回っています。この展開には、ベースライン（Baichuan-13B-Base）とアライメント（Baichuan-13B-Chat）のバージョンの両方が含まれています。

• スタビリティAIチームが、新しいオープンアクセスの大規模言語モデル（LLM）であるFreeWilly1とFreeWilly2を紹介します
• 「ラマ-2、GPT-4、またはクロード-2；どの人工知能言語モデルが最も優れているのか？」
• 「ミット、ハーバード、ノースイースタン大学による『山に針を見つける』イニシアチブは、Sparse Probingを用いてニューロンを見つける」

特徴

• Baichuan-13Bは、パラメータの数を13兆に増やし、高品質のコーパスで14兆トークンをトレーニングしています。これはLLaMA-13Bよりも40%多いです。現在、オープンソースの13Bサイズでは、最もトレーニングデータのあるモデルです。ALiBi位置エンコーディングと4096バイトのコンテキストウィンドウを使用し、中国語と英語で動作します。
• プレトレーニングモデルは開発者向けの「ベース」として機能し、対話機能を備えたアライメントモデルは一般ユーザーの間でより需要があります。そのため、アライメントモデル（Baichuan-13B-Chat）がこのオープンソース版に含まれており、強力な対話機能を備え、使用準備ができており、数行のコードで展開するだけで済みます。
• 研究者は、推論にさらに効率的なint8およびint4の量子化バージョンも提供しており、広範なユーザーの使用を促しています。これらはNvidia 3090などの消費者向けのグラフィックスカードで実装することができますが、非量子化バージョンはよりパワフルなハードウェアが必要です。
• 再販売や修正に制限のない一般の利用者は無料で利用できます。開発者が公式の商業ライセンスをメールで申請すると、商業目的でBaichuan-13Bを利用することができます。

Baichuan-13は約140億トークンを教えるために使用されています。OpenAIによれば、ChatGPT-3は3000億トークンでトレーニングされたとされています。百川のチームは3か月でメンバーが50人に倍増し、先月は7兆パラメータを持つモデルであるBaichuan-7Bを公開しました。2日前にリリースされたBaichuan-13Bバージョンは、ベアボーンのリリースです。研究者やプログラマーは、商業利用を認められた合法的な認可を持つ者に対して、無料で提供されています。このモデルの公式リリースの将来はまだ分かっていません。

基本モデルのBaichuan-13Bは、商業利用をするために必要な法的な許可を取得した研究者やプログラマーに対して無料で利用できます。中国の人工知能（AI）チップの製造業者に対する最近の米国の制限を考慮すると、このモデルのバリアントがNvidiaの3090グラフィックスカードなどの消費者向けハードウェアで実行される可能性があるという事実が特に注目されます。

百川インテリジェントテクノロジーの研究者は、彼らのグループがiOS、Android、Webなど、いかなるプラットフォームにもBaichuan-13Bをベースにしたアプリを作成していないことを確認しています。ユーザーには、国家や社会のセキュリティを危険にさらすなど、違法または有害な目的でBaichuan-13Bモデルを使用しないよう呼びかけています。また、必要なセキュリティ監査と申請手続きなしでBaichuan-13Bモデルをインターネットサービスに使用しないようにすることを推奨しています。彼らは、技術進歩を法の範囲内に保つために、皆さんがこのルールに従うことを期待しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!