デシは、コード生成のためのオープンソース1Bパラメータの大規模言語モデル「DeciCoder」を紹介します

デシは、オープンソースの大規模言語モデル「DeciCoder」を紹介

AIの速い世界では、効率的なコード生成は見過ごすことのできない課題です。ますます複雑なモデルの出現に伴い、正確なコード生成の需要は急増していますが、エネルギー消費と運用コストへの懸念も増しています。この効率のギャップに直面し、先駆的なAI企業であるDeciは、効率的かつ正確なコード生成の新たな基準を再定義することを目指す、10億パラメータのオープンソースLarge Language Model（LLM）であるDeciCoderを紹介します。

既存のコード生成モデルは、精度と効率の微妙なバランスに苦しんできました。この領域の代表的なプレーヤーであるSantaCoderは、広く使用されていますが、スループットとメモリ消費に制約があることが示されています。ここで、DeciCoderが変革的な解決策として登場します。DeciのAI効率の基盤に基づいているDeciCoderは、最先端のアーキテクチャと独自のニューラルアーキテクチャサーチ技術であるAutoNACを活用しています。しばしば不十分な手動の労力を伴うアプローチとは異なり、AutoNACは最適なアーキテクチャの生成プロセスを自動化します。その結果、NVIDIAのA10 GPUに最適化された印象的なアーキテクチャが生まれます。これにより、スループットが向上し、かつSantaCoderと同等の精度が実現されます。

DeciCoderのアーキテクチャは、革新の証です。8つのキーバリューヘッドを備えたGrouped Query Attentionを組み込むことで、計算とメモリ使用量が合理化され、精度と効率の調和が実現されます。SantaCoderとの直接対決で、DeciCoderは独自の特徴を持っています – レイヤーが少ない（20対24）、ヘッドが多い（32対16）、および並列の埋め込みサイズ。これらの特徴は、AutoNACの複雑なダンスから派生し、DeciCoderの力を支えています。

• モデルの精度向上：Spotifyでの機械学習論文で学んだテクニック（+コードスニペット）
• 「勾配降下法アルゴリズムとその直感的な考え方」
• ハギングフェイスがIDEFICSを導入：視覚言語モデルを活用した先駆的なオープンマルチモーダル対話AI

DeciCoderの道のりは、革新と効率への執念によって特徴付けられています。この開発の示す意義は深いものです。DInfery LLMと併せてDeciCoderを活用することで、ユーザーはSantaCoderの驚異的な3.5倍のスループット向上の力を発揮することができます。この革新の物語は効率の向上だけで終わるものではありません。環境に配慮したAIに関しても同様です。Deciの環境に対する強い関心は、A10G GPU上での1つのモデルインスタンスあたりの二酸化炭素排出量を324 kg削減することで表現されています。これは、環境意識の高いAIへの有望な一歩となります。

DeciCoderは孤立した取り組みではありません。これはDeciのAI効率への包括的なアプローチの一環です。同社が高効率な基盤LLMやテキストから画像へのモデルを導入する新時代の到来を告げる中で、開発者は、ファインチューニング、最適化、展開の領域を再定義する予定の生成AI SDKを期待することができます。この包括的なスイートは、効率の利点を巨大な企業や小規模なプレーヤーにも提供し、AIの可能性を民主化します。

DeciCoderのストーリーは、そのアーキテクチャとベンチマークにとどまるものではありません。それは力を与えることについての物語です。最小の制約でDeciCoderをプロジェクトに統合することができる許可されたライセンスは、開発者やビジネスに力を与えます。商用アプリケーションでDeciCoderを展開する柔軟性は、Deciのミッションであるイノベーションと成長を促進することと一致しています。これは、単にAIについての物語ではなく、技術とその影響においてポジティブな変革を起こすことについての物語です。

全体的に、DeciCoderは単なるモデル以上であり、AIの効率の潜在能力の実現です。AutoNAC、グループ化されたクエリアテンション、専用の推論エンジンのシナジーを通じて、高性能で環境に配慮したモデルを提供します。DeciCoderの紹介によって示されるDeciの旅は、AIコミュニティのための明かりであり、私たちの惑星の資源を尊重しながら技術革新を求める呼びかけです。それは単なるコードではなく、より持続可能で効率的なAIの未来のためのコードです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!