「Hugging FaceはLLMのための新しいGitHubです」

Hugging FaceはLLMの新しいGitHubです

大規模言語モデル（LLM）は、近年テック業界において大きな注目を浴び、検索から顧客サービスまであらゆる分野で革新をもたらし、破壊的な影響を与えています。この人工知能の革命の基盤となっているのは、GitHubやHugging Faceなどのオープンエコシステムであり、これにより開発者や企業はLLMを迅速に構築、展開、拡大することができます。GitHubがソフトウェア開発と協力のための主要なプラットフォームとなったように、Hugging Faceもまた、LLMに関連するすべてのことに関して事実上の中心地として台頭しています。

大規模言語モデルの台頭

GPT-3、BERT、PaLMなどのLLMは、人間のようなテキストの生成、質問に答える能力、ドキュメントの要約、さらには単純なテキストのプロンプトに基づいてコードを書く能力などで、テック業界の想像力を掴んでいます。McKinseyの報告によると、LLMに焦点を当てた自然言語処理のスタートアップへの投資は、2020年の1億ドルから2021年には15億ドル以上に膨れ上がりました。

この関心の急増は、LLMの多様なAIの課題に対する柔軟性に起因しています。例えば、OpenAIのChatGPTは会話タスクに優れ、CohereのGenerative NLP APIなどのツールはテキストを要約し、コンテンツをモデレートします。LLMは、ビジネスの運営方法を変革し、インテリジェントな検索から自動化されたカスタマーサポートまであらゆるものを促進しています。

McKinseyの推計によると、LLMは2025年までに米国経済内だけで年間2000億ドルから3000億ドルの経済価値を創出する可能性があります。Google、Meta、Microsoftなどの米国のテック大手やスタートアップは、LLMの潜在能力を開拓するために競争しています。しかし、LLMの構築、展開、改訂には専門のインフラストラクチャとツールが必要です。

• 「Google DeepMindが、7100万件の「ミスセンス」変異の効果を分類する新しいAIツールを発表」
• バッテリー最適化の解除：機械学習とナノスケールX線顕微鏡がリチウムバッテリーを革命化する可能性
• 機械学習リスク管理の組織プロセス

ソフトウェア協力におけるGitHubの重要な役割

LLMに関するHugging Faceの成長する重要性を理解するためには、ソフトウェア開発においてGitHubが果たしてきた不可欠な役割を調査することが有益です。GitHubは、2008年に開始され、バージョン管理とソースコード管理のためのオープンソースのGitプロトコルを先駆けて導入しました。

現在、GitHubは2億以上のコードリポジトリと8300万以上の開発者をホストしています。開発者は、協力し、コードをレビューし、問題を追跡し、ソフトウェアをリリースするためのツールを提供しています。GitHubは、ソフトウェアチームの運営方法に不可欠な存在となり、2018年にMicrosoftが75億ドルで買収したことによって象徴されています。

Stack Overflowの2021年の調査によると、90％以上の開発者がGitHubを使用しています。このプラットフォームのソーシャルコーディングの機能は、ソフトウェア開発における障壁を取り払っています。開発者はオープンソースプロジェクトを活用してビルドを加速させることができます。企業はGitHubのエンタープライズオファリングを使用してコーディングのワークフローを効率化しています。GitHubは開発者の文化に深く根付いており、ソフトウェアコミュニティがコードを作成、スケールさせ、展開する方法を形成しています。

Hugging FaceがLLMのための主要なプラットフォームとして台頭

GitHubがオープンソースの開発を促進したように、Hugging FaceはLLMに対するオープンエコシステムのアプローチを主導しています。Hugging Faceは2016年に設立され、自然言語処理に焦点を当てました。2020年にはLLMに軸足を移し、BERTやGPT-2などの異なるLLMアーキテクチャを標準化されたAPIで統合するTransformersライブラリを作成しました。

このライブラリは、LLMとの作業の複雑さを抽象化することで、LLMへのアクセスを民主化しました。現在、Hugging Faceは20万人以上のユーザーを持つ活気あるコミュニティとなっています。主な提供サービスは以下の通りです：

• モデルハブ：OpenAIのCLIPやSalesforceのBLENDERなど、LLMを含む10万件以上のAIモデルのリポジトリ。LLMの利用の敷居を下げます。
• トークナイザー：LLMのためのテキストのトークン化とエンコードを行うための事前学習済みモデル。データの前処理に不可欠です。
• データセット：LLMのトレーニングと評価に使用する厳選されたデータセット。
• スペース：LLMを活用したアプリの展開、モニタリング、スケーリングを行うMLOpsプラットフォーム。
• Infinite：GPTモデルに基づいた自然言語クエリの回答を生成するためのウィキスタイルのデータセット。

これらのツール群は、探索から展開までのLLMの開発ライフサイクル全体をカバーしています。Hugging Faceは、Streamlitなどのプラットフォームとの統合を進めるなど、ノーコードのLLM実験を可能にしています。

Hugging Faceはこれまでに1億ドルの資金調達を行い、急速に存在感を増しています。昨年に比べて評価額は5倍に増加し、国際的なトップAI研究所や企業とのパートナーシップも築いています。

LLMのGitHub

Hugging Faceの広範なモデル、データセット、開発ツールのハブは、「LLMsのためのGitHub」という称号を獲得しています。モデルハブは、LLMsで作業したい人々の出発点として機能します。開発者は、Meta AIのOPT-175Bなどの最適化されたモデルの実装をそこで見つけることができます。

その後、Hugging FaceのTransformersライブラリを介してこれらのモデルにシームレスにアクセスすることができます。これにより、最先端のLLMsの使用における障壁が大幅に低くなります。企業はもはやゼロから独自のLLMsを構築する必要はありません。代わりに、Hugging Faceの事前スケーリングされたLLMsを取得し、検索や分析などのカスタムユースケースに合わせて微調整することができます。

Spacesは、共同でLLMアプリケーションを構築、テスト、展開することができます。Hugging Faceのオープンデータセットとアクティブなコミュニティフォーラムと組み合わされることで、GitHubのオープンソースの精神をLLMsに特化させたものとなっています。

米国の主要なテック企業の機械学習エンジニアであるLeo Zhaoは、Hugging Faceがいかに深くLLMのワークフローに組み込まれているかを示しています：

「新しいプロジェクトのLLMが必要な場合、Hugging Faceが最初の目的地です。彼らのモデルハブには、選択肢の豊富なタクソノミーがあります。わずか数行のコードでモデルにデータをトークン化して提供することができます。Spacesを使用すると、GPUクラスターでのモデルトレーニングのスケーリングが簡単になります。LLMsに関連するすべてのことに対するワンストッププラットフォームです。」

GitHubの類推は、Hugging FaceがLLMsの周りに協力的なコミュニティを育んでいる方法にも当てはまります。そのフォーラムは、数千人のLLM開発者やユーザーにとって知識とサポートの重要な情報源となっています。Hugging Faceは、人気のあるLLMカンファレンスを通じてこのコミュニティをさらに育成しており、最新の進展へのアクセスを民主化しています。

LLM採用の課題の克服

Hugging Faceは、企業がLLMsの採用に直面する主要な障壁を克服するのに重要な役割を果たしています。McKinseyの研究によれば、組織がLLMsを導入する際に直面する最大の課題は、価値の評価とユースケースの特定です。Hugging Faceは、幅広い選択肢のLLMsと推奨される微調整データセットを一元化することで、これを緩和しています。

さらに、LLMsを本番環境に導入することは、複雑なデータとインフラストラクチャの問題を引き起こします。Hugging Faceのモデルアクセスから展開までのエンドツーエンドのプラットフォームは、企業にとってこれらの障壁を解消する役割を果たしています。

LLMsを大規模に構築および運用するために必要な財務投資は、採用を妨げる要因となってきました。Hugging Faceは、事前学習済みモデルへの簡単なアクセスを提供することでコストを削減します。Spacesは、サーバーレスアーキテクチャとTPUなどのスケーラブルなクラウドハードウェアのサポートにより、支出をさらに最適化します。小規模なチームやスタートアップにとって、大規模なLLMsでの実験が可能になります。

LLMsで未来を変革する

Hugging Faceは、LLMsのハブとしての成長を続ける可能性があります。そのコミュニティは既に人気のあるAIフォーラムを超えています。より多くの開発者や企業が、TransformersライブラリやTokenizersなどのツールを生産パイプラインで利用しています。

LLMsは、マーケティング、セールス、ファイナンスなどの分野で地殻変動を引き起こすでしょう。McKinseyは、LLMsが現在の仕事の30％から45％を自動化する可能性があると予想しており、重要な社会的影響を生み出すことになります。LLMイノベーションへの障壁を下げるHugging Faceのようなプラットフォームが、その変革の潜在能力を実現する上で中心的な役割を果たすでしょう。

ソフトウェアエンジニアリングを加速したGitHubと同様に、Hugging Faceは開発者やビジネスがLLMsの能力をより迅速かつ効果的に活用することを可能にしています。成長するLLMを活用した経済にとって、Hugging Faceは未来へのゲートウェイを表しています。その包括的なプラットフォームは、新しい市場を生み出し、人間とAIの大規模な協力を解き放ち、次のテクノロジー進歩の時代を迎えることができるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!