「Snorkel AI x Hugging Face 企業向けの基盤モデルを解放する」

Releasing foundation models for enterprises Snorkel AI x Hugging Face

この記事は、2023年4月6日にSnorkelのブログでFriea Bergによって最初に公開された記事をクロスポストしています。

OpenAIがGPT-4をリリースし、Googleがベータ版でBardを導入するにつれて、世界中の企業は基盤モデルの力を活用することに興奮しています。この興奮が高まるにつれて、ほとんどの企業や組織が基盤モデルを適切に活用するための準備ができていないことが明らかになっています。

基盤モデルは企業にとって独自の課題を提供します。これまで以上に大きくなったサイズのため、自社でホストすることは困難で高額になります。また、製品の使用ケースにオフシェルフのFMsを使用することは、パフォーマンスの低下やガバナンスとコンプライアンスのリスクの増加を意味する可能性があります。

Snorkel AIは、基盤モデルと実際の企業の使用ケースとのギャップを埋める役割を果たしており、PixabilityなどのAIイノベーターによって印象的な結果をもたらしています。我々は、大量の使いやすいオープンソースモデルのリポジトリで最もよく知られているHugging Faceと提携し、AIアプリケーションの開発に柔軟性と選択肢を提供します。

• 複雑な生成型AIユースケースにおいて、Hugging Faceを活用する
• 「エンジニアがセメントとカーボンブラックを使用したバッテリーの代替手段を開発」
• 「25以上のChatGPTのプロンプトで、より多くのリードを生成し（そしてより多くの売り上げを生み出す）」

Snorkel Flowにおける基盤モデル

Snorkel Flow開発プラットフォームを使用すると、ユーザーは基盤モデルを特定の使用ケースに適応させることができます。アプリケーションの開発は、データ上の選択した基盤モデルの予測を「そのまま」検査することから始まります。これらの予測は、それらのデータポイントのトレーニングラベルの初期バージョンとなります。Snorkel Flowは、そのモデルのエラーモードを特定し、プログラムによるラベリングを効率的に修正するためのユーザーを支援します。これには、ヒューリスティックやプロンプトを使用したトレーニングラベルの更新が含まれる場合もあります。基盤モデルは、更新されたラベルで微調整され、再評価されます。この反復的な「検出と修正」プロセスは、適応された基盤モデルが十分な品質に達するまで続きます。

Hugging Faceは、この強力な開発プロセスを可能にするために、150,000以上のオープンソースモデルを1つのソースから直ちに利用できるようにしています。これらのモデルの多くは、BioBERTやSciBERTなどの特定のドメインのデータに特化しています。これらのモデルの1つ、あるいはさらに良い場合は複数の特化したベースモデルは、ユーザーに初期予測やラベルの改善のためのプロンプト、または展開用の最終モデルの微調整のスタートを与えることができます。

Hugging Faceはどのように役立ちますか？

Snorkel AIのHugging Faceとのパートナーシップにより、Snorkel Flowの基盤モデルの機能が強化されます。最初はわずかな数の基盤モデルのみを提供していました。それぞれが専用のサービスを必要とし、費用対効果が低く、急速に増え続けるさまざまなモデルを提供することが難しかったため、企業が柔軟に利用できるようにすることは困難でした。Hugging FaceのInference Endpointサービスを採用することで、ユーザーが利用できる基盤モデルの数を拡大することができました。

Hugging Faceのサービスを使用すると、ユーザーは数回のクリックでモデルAPIを作成し、すぐに使用することができます。重要なのは、この新しいサービスには「一時停止と再開」の機能があり、クライアントが必要な場合にモデルAPIをアクティブにし、必要ない場合には休眠させることができる点です。

“Hugging FaceのInference Endpointサービスは、セットアップが非常に簡単だったことに驚きました。すべての設定オプションは非常に分かりやすかったですが、クラウドの実行方法や必要なセキュリティレベルなど、必要なすべてのオプションにアクセスすることもできました。”

– SnorkelのCTO兼共同創設者であるBraden Hancock

これがSnorkelの顧客にどのように役立つのですか？

多くの企業は、自社で基盤モデルをゼロからトレーニングするリソースを持っていません。多くの場合、基盤モデルの自社版を微調整するための専門知識を持っているかもしれませんが、そのタスクに必要なデータの量を集めるのに苦労するかもしれません。Snorkelのデータ中心のプラットフォームと、Hugging Faceなどの業界のリーディングイノベーターとの連携により、基盤モデルの力をユーザーの手の届く範囲に置くことができます。

“Snorkel AIとHugging Face Inference Endpointsを使用することで、企業はオープンソースを中心にしたデータ中心のAIアプリケーションを加速させることができます。機械学習は技術の標準的な構築方法になりつつあり、オープンソースから構築することで、企業は自社の使用ケースに適した解決策を構築し、顧客に提供するエクスペリエンスを制御することができます。Snorkel AIがオープンソースのHugging FaceモデルとInference Endpointsを使用してエンタープライズ向けの自動データラベリングを可能にすることに興奮しています。”

Clement Delangue、共同創設者兼CEO、Hugging Face

結論

SnorkelとHugging Faceが共同で提供することで、大企業、政府機関、AIイノベーターが基礎モデルから価値を得ることがこれまで以上に簡単になりました。Hugging Faceの包括的な基礎モデルハブを使用することで、ユーザーはビジネスニーズに最も適したモデルを選択することができます。これにより、それらをトレーニングするために必要なリソースに投資する必要がありません。この統合は、基礎モデルを世界中の企業によりアクセスしやすくするための重要な進歩です。

貴社でHugging Faceの推論エンドポイントに興味がある場合は、こちらからお問い合わせください。弊社のチームがお客様の要件についてご相談させていただきます！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!