アリババAIは、Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B、およびQwen Chatシリーズを含むQwenシリーズをオープンソース化しました

『アリババAIがQwenシリーズをオープンソース化』

最新モデルを持つ Alibaba Cloud の Qwen シリーズのオープンソース AI モデルを使用して、AI 技術の可能性をさらに押し上げています。 Alibaba は Qwen-1.8B と Qwen-72B のリリースとともに、特殊なチャットモデルとオーディオモデルを提供することで AI ソリューションを拡大しました。 Alibaba の AI 機能の開発に対する献身は、これらのモデルによって示されており、言語処理とオーディオ処理のパフォーマンスと多様性が向上しています。

Qwen-1.8B とその大きな相当する Qwen-72B のリリースにより、すでに Qwen-7B と Qwen-14B を含む Qwen シリーズが大幅に強化されました。2.2 兆以上のトークンでプリトレーニングされた Qwen-1.8B は、18 億のパラメータを持つトランスフォーマーベースのモデルです。このモデルは、中国語と英語の両方のさまざまな言語タスクで、同じサイズまたはそれ以上のモデルよりも優れた性能を発揮します。また、8192 トークンの長い文脈をサポートしています。

特筆すべきは、Qwen-1.8B の quantized variants int4 と int8 による、手頃なデプロイメントソリューションの提供です。これらの特徴により、メモリのニーズを劇的に低減することで、さまざまなアプリケーションにとって合理的なオプションとなります。150,000 以上のトークンの豊富な語彙力もその言語能力を向上させます。

• 2024年にSQLの概念をマスターするためのトップ10冊の書籍
• テンセントAI研究所では、GPT4Videoを紹介していますこれは統合マルチモーダル大規模言語モデルであり、指示に従った理解と安全意識のある生成を目指しています
• 「ロボットのビジョン-言語プランニングにおけるGPT-4Vの力を発揮する方法は？ViLaと出会ってください：長期計画のためにGPT-4Vを活用するシンプルで効果的なAIメソッド」

より大きなモデルである Qwen-72B は、3 兆のトークンでトレーニングされました。このモデルは、ほとんどのタスクで GPT-3.5 よりも優れ、すべてのテストされたタスクで LLaMA2-70B を凌駕します。Alibaba はこれらのモデルを設計しており、大きなパラメータにもかかわらず低コストでのデプロイメントが可能です。クォンタイズされたバージョンにより、最小で 3GB のメモリ使用量で動作します。この大幅な進歩により、数百万ドルのコストがかかっていた巨大モデルとの作業の障害が大幅に低減されました。

Alibaba は、Qwen ベースモデルに加えて、AI サポートと会話能力を備えた最適化されたバージョンである Qwen-Chat を紹介しました。マテリアルの生成と自然な会話の促進の他にも、Qwen-Chat はコード解釈と要約のタスクを実行することができます。

テキストに加えてさまざまなオーディオ入力を処理してテキスト出力を生成する能力を持つ Alibaba の Qwen-Audio は、マルチモーダル AI の注目すべき進歩を表しています。著しく、Qwen-Audio は、微調整なしで音声認識やさまざまな音声理解の基準で最新のパフォーマンスを達成しています。

音声領域では、Qwen-Audio は基本的な音声言語モデルとして新たな基準を確立しています。多数の音声形式を処理するためにマルチタスク学習フレームワークを使用しており、AISHELL-1 や VocalSound などのタスクで優れた結果を達成しています。

Qwen-Audio の適応性には、テキストとオーディオ入力からの複数のチャットセッションの操作が含まれており、音声編集ツールから音楽鑑賞や音声解釈までの機能が備わっています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!