ディープシークは、ディープシーク-67Bモデルをオープンソース化しました：中国からの最新のChatGPTのライバル

ディープシーク、中国からの最新ChatGPTのライバル「ディープシーク-67Bモデル」をオープンソース化

中国のAIスタートアップ、DeepSeek AIは、DeepSeek LLMファミリーのデビューによって、大規模な言語モデル（LLM）の新時代を切り拓いています。 DeepSeek LLM 7B/67B BaseとDeepSeek LLM 7B/67B Chat からなるこれらのオープンソースモデルは、言語理解と多目的応用において大きな進歩を表しています。

DeepSeekのLLMの特色の一つは、67B BaseバージョンがLlama2 70B Baseに比べて優れた性能を発揮していることです。理論推論、コーディング、数学、中国語の理解などの分野で優れた能力を示します。

DeepSeek LLMのこの質的な飛躍は、幅広いアプリケーションでのその能力を示しています。特に注目すべきは、DeepSeek Chatが、類似のサイズのモデルをしのぐ、人間の評価基準の73.78%の合格率を達成したことです。また、調整なしでGSM8K数学データセットで84.1%をスコアリングするという卓越した力を示しました。

• メタAIがSeamlessを導入：リアルタイムで表現豊かな言語間コミュニケーションを可能にするパブリックで利用可能なAIシステム
• このAIペーパーは、さまざまなタスクでChatGPTに追いついたり超えたりすると主張するオープンソースの大規模言語モデルの詳細なレビューを公開しています
• 「SceneTexをご紹介：屋内シーンにおける高品質でスタイル一貫性のあるテクスチャ生成のための革新的なAI手法」

DeepSeek AIは、モデルの7億パラメータバージョンと67億パラメータバージョンを含む、ベースおよび専門用途のChatバリアントをオープンソース化することで、広範なAI研究と商業アプリケーションの促進を目指しています。

バイアスのない綿密なパフォーマンス評価を保証するために、DeepSeek AIは、ハンガリー国立高校試験やGoogleの指示に従った評価データセットなどの新しい問題集を設計しました。これらの評価は、モデルが以前に見たことのない試験やタスクを効果的に処理する能力を効果的に示しました。

スタートアップは、知的財産権を尊重しながら、多様性と独自性を高めることに焦点を当てた緻密なデータ収集とトレーニングプロセスについての洞察を提供しました。マルチステップのパイプラインでは、品質の高いテキスト、数学の式、コード、文学作品、さまざまなデータ型を選別し、有害な内容や重複したコンテンツを除外するためのフィルタを実装しました。

DeepSeekの言語モデルは、LLaMAに類似したアーキテクチャで設計され、厳格な事前トレーニングを受けました。7BモデルではMulti-Head Attentionを、67BモデルではGrouped-Query Attentionを利用しました。トレーニング計画では、大規模なバッチサイズとマルチステップの学習率スケジュールを使用し、堅牢で効率的な学習能力を確保しました。

これら最新のオープンソースLLMのリリースを主導することで、DeepSeek AIは言語理解とAIのアクセシビリティにおける重要なマイルストーンを築き、フィールドでのイノベーションとより広範な応用を促進しています。

この記事は、DeepSeek Open-Sources DeepSeek-67Bモデル：中国からの最新のChatGPTライバルに最初に掲載されたものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!