Search Results Gin

言語モデルと仲間たち：ゴリラ、HuggingGPT、TaskMatrix、そしてさらに多くのもの

最近、ディープラーニング研究において、基礎モデルが人気を集めていることを目撃しています事前に訓練された大規模な言語モデル（LLM）は、単一のモデルで新しいパラダイムをもたらしました

「ColabノートブックでLlama-2 7BモデルとのチャットをするためのHugging Faceガイド」

ついに私はMetaのLlama 2という最も人気のあるオープンソースの大規模言語モデルを使って遊ぶことに決めました（執筆時点でのものです）この初心者向けガイドでは、すべてのステップを詳しく説明します...

「Prompt Engineering Is Not a Thing」はありません

「OpenAIのGPTシリーズのような大規模な言語モデルの台頭は、自然言語処理を変革しましたしかし、「プロンプトエンジニアリング」は重要なのでしょうか？こちらで詳しく確認してください」

「Auto-GPT＆GPT-Engineer：今日の主要なAIエージェントについての詳細ガイド」

「ChatGPTとAuto-GPT＆GPT-Engineerなどの自律型AIエージェントの包括的な分析に没入してください機能、セットアップガイドを探索し、労働市場への影響を理解してください」

「Hugging Face Transformersを使用したBERT埋め込みの作成」

はじめに Transformersはもともと、テキストを一つの言語から別の言語に変換するために作られました。BERTは、人間の言語を学習し作業する方法に大きな影響を与えました。それはテキストを理解する元々のトランスフォーマーモデルの部分を改良しました。BERTの埋め込みを作成することは、特に複雑な意味を持つ文章を把握するのに適しています。これは、文章全体を調べ、単語のつながり方を理解することで行います。Hugging Faceのtransformersライブラリは、ユニークな文章コードを作成し、BERTを導入するための鍵です。学習目標 BERTと事前学習モデルの理解を深める。これらが人間の言語との作業にどれだけ重要かを理解する。 Hugging FaceのTransformersライブラリを効果的に使用する方法を学ぶ。これを使用してテキストの特殊な表現を作成する。事前学習されたBERTモデルからこれらの表現を正しく削除する様々な方法を見つける。これは、異なる言語タスクには異なるアプローチが必要なため重要です。実際にこれらの表現を作成するために必要な手順を実際に行い、実践的な経験を積む。自分自身でできることを確認する。作成したこれらの表現を使用して、テキストのソートやテキスト内の感情の把握など、他の言語タスクを改善する方法を学ぶ。特定の言語タスクにさらに適したように事前学習モデルを調整する方法を探索する。これにより、より良い結果が得られる可能性があります。これらの表現が言語タスクの改善にどのように使用され、言語モデルの正確性とパフォーマンスを向上させるかを調べる。この記事はデータサイエンスブログマラソンの一部として公開されました。パイプラインはトランスフォーマーのコンテキスト内で何を含むのか？パイプラインは、トランスフォーマーライブラリに含まれる複雑なコードを簡素化するユーザーフレンドリーなツールと考えてください。言語の理解、感情分析、特徴の抽出、質問に対する回答などのタスクにモデルを使用することを簡単にします。これらの強力なモデルとの対話を簡潔な方法で提供します。パイプラインにはいくつかの重要なコンポーネントが含まれます：トークナイザ（通常のテキストをモデルが処理するための小さな単位に変換するもの）、モデル自体（入力に基づいて予測を行うもの）、そしてモデルがうまく動作するようにするためのいくつかの追加の準備ステップ。 Hugging Face Transformersの使用の必要性は何ですか？トランスフォーマーモデルは通常非常に巨大であり、トレーニングや実際のアプリケーションで使用するために取り扱うことは非常に複雑です。Hugging Face transformersは、このプロセス全体を簡単にすることを目指しています。どれほど巨大であっても、どんなTransformerモデルでも、ロード、トレーニング、保存するための単一の方法を提供します。モデルのライフサイクルの異なる部分に異なるソフトウェアツールを使用することはさらに便利です。一連のツールでトレーニングを行い、その後、手間をかけずに実世界のタスクに使用することができます。高度な機能これらの最新のモデルは使いやすく、人間の言語の理解と生成、コンピュータビジョンや音声に関連するタスクにおいて優れた結果を提供します。…

「HuggingFace Diffusersにおける拡散モデルの比較と説明」

「画像生成を含む生成型AIへのますます高まる関心を受けて、多くの優れたリソースが利用可能となりつつあります以下でいくつかのハイライトを紹介しますが、私の経験に基づくと...」

なぜ私たちはHugging Face Inference Endpointsに切り替えるのか、そしてあなたも切り替えるべきかもしれません

Hugging Faceは最近、Inference Endpointsをリリースしました。これは、彼らが言うように「トランスフォーマーを本番環境で解決する」というものです。Inference Endpointsは、次のことができるマネージドサービスです： Hugging Face Hub上で（ほぼ）任意のモデルをデプロイする任意のクラウド（AWS、Azure、GCPも近日中に）にデプロイする GPUを含むさまざまなインスタンスタイプで実行する私たちは、CPU上で推論を行ういくつかの機械学習（ML）モデルを、この新しいサービスに切り替えています。このブログでは、なぜ切り替えるのか、また切り替えを検討する理由について説明します。これまでの取り組み私たちがInference Endpointsに切り替えたモデルは、以前は内部で管理され、AWS Elastic Container Service（ECS）上で実行されていました。これにより、コンテナベースのタスクを実行できるサーバーレスクラスターが提供されます。私たちのプロセスは次のようなものでした： GPUインスタンスでモデルをトレーニングする（transformersでトレーニングされたCMLで供給） Hugging Face Hubにアップロードするモデルを提供するためのAPIを構築する（FastAPI） APIをコンテナにラップする（Docker）コンテナをAWS Elastic…

「Snorkel AI x Hugging Face 企業向けの基盤モデルを解放する」

この記事は、2023年4月6日にSnorkelのブログでFriea Bergによって最初に公開された記事をクロスポストしています。 OpenAIがGPT-4をリリースし、Googleがベータ版でBardを導入するにつれて、世界中の企業は基盤モデルの力を活用することに興奮しています。この興奮が高まるにつれて、ほとんどの企業や組織が基盤モデルを適切に活用するための準備ができていないことが明らかになっています。基盤モデルは企業にとって独自の課題を提供します。これまで以上に大きくなったサイズのため、自社でホストすることは困難で高額になります。また、製品の使用ケースにオフシェルフのFMsを使用することは、パフォーマンスの低下やガバナンスとコンプライアンスのリスクの増加を意味する可能性があります。 Snorkel AIは、基盤モデルと実際の企業の使用ケースとのギャップを埋める役割を果たしており、PixabilityなどのAIイノベーターによって印象的な結果をもたらしています。我々は、大量の使いやすいオープンソースモデルのリポジトリで最もよく知られているHugging Faceと提携し、AIアプリケーションの開発に柔軟性と選択肢を提供します。 Snorkel Flowにおける基盤モデル Snorkel Flow開発プラットフォームを使用すると、ユーザーは基盤モデルを特定の使用ケースに適応させることができます。アプリケーションの開発は、データ上の選択した基盤モデルの予測を「そのまま」検査することから始まります。これらの予測は、それらのデータポイントのトレーニングラベルの初期バージョンとなります。Snorkel Flowは、そのモデルのエラーモードを特定し、プログラムによるラベリングを効率的に修正するためのユーザーを支援します。これには、ヒューリスティックやプロンプトを使用したトレーニングラベルの更新が含まれる場合もあります。基盤モデルは、更新されたラベルで微調整され、再評価されます。この反復的な「検出と修正」プロセスは、適応された基盤モデルが十分な品質に達するまで続きます。 Hugging Faceは、この強力な開発プロセスを可能にするために、150,000以上のオープンソースモデルを1つのソースから直ちに利用できるようにしています。これらのモデルの多くは、BioBERTやSciBERTなどの特定のドメインのデータに特化しています。これらのモデルの1つ、あるいはさらに良い場合は複数の特化したベースモデルは、ユーザーに初期予測やラベルの改善のためのプロンプト、または展開用の最終モデルの微調整のスタートを与えることができます。 Hugging Faceはどのように役立ちますか？ Snorkel AIのHugging Faceとのパートナーシップにより、Snorkel Flowの基盤モデルの機能が強化されます。最初はわずかな数の基盤モデルのみを提供していました。それぞれが専用のサービスを必要とし、費用対効果が低く、急速に増え続けるさまざまなモデルを提供することが難しかったため、企業が柔軟に利用できるようにすることは困難でした。Hugging FaceのInference Endpointサービスを採用することで、ユーザーが利用できる基盤モデルの数を拡大することができました。 Hugging Faceのサービスを使用すると、ユーザーは数回のクリックでモデルAPIを作成し、すぐに使用することができます。重要なのは、この新しいサービスには「一時停止と再開」の機能があり、クライアントが必要な場合にモデルAPIをアクティブにし、必要ない場合には休眠させることができる点です。…

Databricks ❤️ Hugging Face 大規模言語モデルのトレーニングとチューニングが最大40%高速化されました

生成AIは世界中で大きな注目を集めています。データとAIの会社として、私たちはオープンソースの大規模言語モデルDollyのリリース、およびそれを微調整するために使用した研究および商用利用のための内部クラウドソーシングデータセットであるdatabricks-dolly-15kのリリースと共にこの旅に参加してきました。モデルとデータセットはHugging Faceで利用可能です。このプロセスを通じて多くのことを学びましたが、今日はApache Spark™のデータフレームから簡単にHugging Faceデータセットを作成できるようにするHugging Faceコードベースへの初めての公式コミットの1つを発表することを喜んでお知らせします。「Databricksがモデルとデータセットをコミュニティにリリースしてくれたのを見るのは素晴らしいことでしたが、それをHugging Faceへの直接のオープンソースコミットメントにまで拡張しているのを見るのはさらに素晴らしいことです。Sparkは、大規模なデータでの作業に最も効率的なエンジンの1つであり、その技術を使用してHugging Faceのモデルをより効果的に微調整できるようになったユーザーを見るのは素晴らしいことです。」 — Clem Delange、Hugging Face CEO Hugging Faceが一流のSparkサポートを受ける過去数週間、ユーザーから、SparkのデータフレームをHugging Faceデータセットに簡単にロードする方法を求める多くのリクエストを受け取りました。今日のリリースよりも前は、SparkのデータフレームからHugging Faceデータセットにデータを取得するために、データをParquetファイルに書き込み、それからHugging Faceデータセットをこれらのファイルに指定して再ロードする必要がありました。たとえば: from datasets import load_dataset train_df…

複雑な生成型AIユースケースにおいて、Hugging Faceを活用する

この会話では、Jeff BoudierがWriterの共同創業者兼CTOであるWaseem Alshikhに、Hugging Faceのユーザーから顧客へ、そしてオープンソースモデルの貢献者への旅について尋ねています。なぜWriterは始まったのですか？現在の生成AIにおける最も一般的な誤解は何ですか？なぜWriterは今、オープンソースモデルに貢献しているのですか？ Writerにとって、Hugging Face Expert Acceleration Programサービスの価値は何ですか？ WriterはCPUとGPUでLLMをスケールするためのプロダクションにどのように取り組んでいますか？効率性とCPUの使用は、プロダクションにおいてどれくらい重要ですか？貴社がHugging Face Expert Acceleration Programに興味がある場合は、こちらからお問い合わせください – 弊社のチームがお客様の要件についてご相談させていただきます！

Learn more about Search Results Gin - Page 4