インドのスタートアップ、OpenHathiをリリース：初のヒンディー語LLM

『インドのスタートアップ、OpenHathiがリリース：初のヒンディー語LLM』

言語の革新に向けた注目すべき一歩として、インドのAIスタートアップSarvam AIがOpenHathi LLMをリリースし、ヒンディー語の言語モデルの領域で重要な進歩を遂げました。シリーズAの資金調達で4100万ドルという印象的な数字を獲得したわずか1週間後、同社はOpenHathiシリーズの初のリリースであるOpenHathi-Hi-v0.1を発表しました。

OpenHathiの起源

Sarvam AIの最新の創作物は、ヒンディー語の微妙さに合わせて特別に設計されたMeta AIのLlama2-7Bアーキテクチャに基づいています。OpenHathiシリーズの最初のヒンディー語の大規模言語モデル（LLM）と位置づけられ、インド系言語のGPT-3.5と同等のパフォーマンスを約束しています。このモデルの基盤は、Llama2-7Bの機能を拡張する予算に優しいプラットフォームにあるのです。

トレーニングプロセスの紹介

OpenHathi-Hi-v0.1は、入念な2つのフェーズのトレーニングプロセスを経ます。最初に、ランダムに初期化されたヒンディー語の埋め込みを整列させる埋め込みの整列に焦点を当てます。次に、モデルはバイリンガルな言語モデリングに取り組み、トークン間でクロスリンガルな注意を習得します。その結果、ヒンディー語のさまざまなタスクで堅牢なパフォーマンスが得られ、ネイティブおよびローマ字表記のスクリプトの両方で優れた能力を発揮できるようになります。

• このAI論文は、イメージとテキストのアラインメントモデルにおける詳細なテキストとビジュアルの説明のための高度な技術を紹介しています
• このAI論文は、「Vary」という新しいアプローチを明らかにしています：高度な多言語認識タスクのための大規模なビジョン言語モデルの視覚語彙を拡張するためのアプローチ
• 『LLM360をご紹介します：最初の完全オープンソースで透明な大規模言語モデル（LLM）』

協力と学術貢献

Sarvam AIのOpenHathi-Hi-v0.1は、AI4Bharatの学術パートナーとの共同開発によるもので、これらのパートナーが提供する言語リソースとベンチマークを活用しています。この共同の取り組みは、最近KissanAIが発表したDhenu 1.0のように、英語、ヒンディー語、ヒングリッシュの農業に関する大規模言語モデルで示されるように、言語の境界を超えて拡張されています。

Sarvam AIの今後の展望

Sarvam AIの共同設立者であるPratyush KumarとVivek Raghavanは、2023年7月にスタートアップを立ち上げました。Lightspeed Venturesを中心とする大規模なシリーズAの資金調達に支えられ、彼らは多様なインド言語のための生成AI統合を通じてインドの固有のニーズに対応することを目指しています。彼らの関心は、データをバックボーンとしてドメイン固有のAIモデルの開発における企業との協力関係の育成にも及んでいます。

私たちの意見

言語の多様性が重要視される環境において、Sarvam AIのOpenHathi-Hi-v0.1は、インドの言語AIのイノベーションへのコミットメントを体現した約束された進化として現れます。学術パートナーとの協力的な姿勢と明確な将来のロードマップにより、Sarvam AIは生成AIの分野での指針となる存在として位置付けられています。モデルが開発者にその潜在能力を探求するよう促す中、創造性と専門化されたモデルの連鎖反応がインドのAIの領域をさらに豊かにすることが期待されます。

透明性と協力の原則を遵守する一方で、Sarvam AIの研究とデジタルインフラの開発から言語モデルの先駆的な取り組みまで、インドの独自の言語の絵画に取り組む誠実なアプローチが示されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!