Search Results Gin

「ONNX Runtimeを使用して130,000以上のHugging Faceモデルを高速化する」

ONNX Runtimeとは? ONNXランタイムは、ONNXをサポートするモデルを特に高速化するために使用できる、クロスプラットフォームの機械学習ツールです。 Hugging Face ONNX Runtimeサポート Hugging Faceは、オープンソースのコミュニティであり、ユーザーが数千の公開可能な機械学習モデルを構築、訓練、展開できるようにする場所です。Hugging Face上には、13万以上のONNXサポートモデルがあります。これらのONNXサポートモデルには、ますます人気のある大規模言語モデル（LLM）やクラウドモデルも含まれます。これらのモデルは、ONNXランタイムを活用してパフォーマンスを向上させることができます。例えば、whisper-tinyモデルを加速するためにONNXランタイムを使用すると、PyTorchに比べて推論ごとの平均レイテンシーが最大74.30%向上します。ONNXランタイムは、Hugging Faceと緊密に連携しており、サイト上で最も人気のあるモデルをサポートするようになっています。総計で、ONNXランタイムによって90以上のHugging Faceモデルアーキテクチャがサポートされており、その中には11の最も人気のあるアーキテクチャも含まれています（人気度は、対応するモデルがHugging Face Hubにアップロードされた回数によって決まります）。さらに詳しく Hugging FaceモデルをONNXランタイムで高速化する方法について詳しく知りたい場合は、Microsoftオープンソースブログで最近の記事をご覧ください。

「Hugging FaceはLLMのための新しいGitHubです」

ハギングフェイスは、大規模言語モデル（LLM）のための「GitHub」となりつつありますハギングフェイスは、LLMの開発と展開を簡素化するツールを提供しています

「Hugging Face LLMツールの完全初心者ガイド」

「Hugging Faceは、学者、研究者、愛好家のコミュニティを築いたAI研究所および拠点です短期間でHugging FaceはAIの領域で大きな存在感を示しましたGoogle、Amazon、Nvidiaなどのテックジャイアンツは、AIスタートアップのHugging Faceに大きな投資を行い、その評価を高めました...」

「Amazon SageMakerとHugging Faceを使用して、FetchはML処理の遅延を50％削減します」

この記事は、元々2023年9月にAWSのウェブサイトで公開された記事のクロスポストです。概要消費者エンゲージメントと報酬会社であるFetchは、ユーザーがレシートをスキャンして購入に対して報酬を得ることができるアプリケーションを提供しています。同社はまた、これらのレシートを解析して消費者の行動に関する洞察を生成し、ブランドパートナーに提供しています。週ごとのスキャンが急速に増加するにつれて、Fetchはスピードと精度を向上させる必要がありました。 Amazon Web Services（AWS）上で、FetchはHugging FaceとAmazon SageMakerを使用して機械学習（ML）パイプラインを最適化しました。Amazon SageMakerは、完全に管理されたインフラストラクチャ、ツール、ワークフローを備えたMLモデルの構築、トレーニング、展開を行うためのサービスです。これにより、Fetchアプリはスキャンをより速く、かつ大幅に高い精度で処理することができます。機会 | FetchのMLパイプラインを12か月でAmazon SageMakerを使用して高速化する Fetchアプリを使用して、顧客はレシートをスキャンし、ポイントを受け取り、それらのポイントをギフトカードと交換することができます。Fetchは、領収書のスキャンに対してユーザーに即座に報酬を与えるために、領収書からテキストをキャプチャし、関連するデータを抽出し、その他のシステムが処理および分析できるように構造化する必要がありました。ピークトラフィック時には週に8000万枚以上のレシートを処理する必要があり、秒間数百枚のレシートを素早く、正確に処理する必要がありました。 2021年、Fetchはアプリのスキャン機能を最適化することを決定しました。FetchはAWSネイティブの会社であり、MLオペレーションチームは既に多くのモデルでAmazon SageMakerを使用していました。これにより、モデルをAmazon SageMakerに移行してMLパイプラインを強化する決定は容易なものでした。プロジェクト全体を通じて、FetchはAWSチームと週次の通話を行い、AWSがFetchとペアになった専門家からサポートを受けました。Fetchは12か月でAmazon SageMakerを使用して5つ以上のMLモデルを構築、トレーニング、展開しました。2022年末に、Fetchは更新されたモバイルアプリと新しいMLパイプラインをリリースしました。「Amazon SageMakerはFetchにとって画期的なものです。ほぼすべての機能を広範に使用しています。新しい機能が登場すると、すぐに価値があります。Amazon SageMakerの機能なしでこのプロジェクトを行うことは想像できません。」 Sam Corzine、機械学習エンジニア、Fetch…

Rocket Money x Hugging Face プロダクションで変動するMLモデルのスケーリング

「彼らはただのサービスプロバイダではなく、私たちの目標と結果に投資しているパートナーだと気づきました」- ニコラス・クザック、ロケットマネーのシニアMLエンジニア。 MLOpsチームなしでの本番環境でのMLモデルのスケーリングとメンテナンス私たちは、Rocket Money（以前の名前はTruebillの個人ファイナンスアプリ）を作成し、ユーザーが自分の財務状況を改善できるようにしました。ユーザーは銀行口座をアプリにリンクさせ、トランザクションを分類し、カテゴリ分けし、繰り返しのパターンを特定して、個人の財務状況を総合的かつ包括的に表示します。トランザクション処理の重要な段階は、Rocket Moneyが会員のためにキャンセルし、費用を交渉できるいくつかの既知の販売業者やサービスを検出することです。この検出は、短く、しばしば切り詰められ、暗号化された形式のトランザクション文字列をクラスに変換して、製品体験を豊かにするために使用します。新しいシステムへの旅最初に、正規表現ベースの正規化器を使用してトランザクションからブランドと製品を抽出しました。これらは、文字列を対応するブランドにマッピングする複雑になる決定表と併用されました。このシステムは、キャンセルと交渉に対応する製品にのみ結び付けられたクラスが存在する場合には効果的でしたが、ユーザーベースが拡大し、サブスクリプションエコノミーが急速に発展し、製品の範囲が拡大するにつれて、新しいクラスの数と正規表現のチューニングや衝突の防止に追いつく必要がありました。これを解決するために、バッグオブワーズモデルとクラスごとのモデルアーキテクチャを使用したさまざまな従来の機械学習（ML）ソリューションを検討しました。このシステムはメンテナンスとパフォーマンスに苦労し、保留となりました。私たちは、まっさらな状態から新しいチームと新しい命令を組み立てることに決めました。最初の課題はトレーニングデータを蓄積し、ゼロから社内システムを構築することでした。私たちはRetoolを使用してラベリングキュー、ゴールドスタンダードの検証データセット、ドリフト検出モニタリングツールを構築しました。さまざまなモデルトポロジーを試しましたが、最終的にはBERTファミリーのモデルを選び、テキスト分類の問題を解決しました。初期のモデルのテストと評価のほとんどは、GCPのデータウェアハウス内でオフラインで実施されました。ここでは、4000以上のクラスを持つモデルのパフォーマンスを測定するために使用したテレメトリとシステムを設計および構築しました。 Hugging Faceとのパートナーシップによるドメインの課題と制約の解決私たちのドメイン内には、商品を提供する業者や処理/支払い会社、機関の違い、ユーザーの行動の変化など、独自の課題がいくつかあります。効率的なモデルのパフォーマンスアラート設計と現実的なベンチマーキングデータセットの構築は、継続的に課題となっています。もう1つの重要な課題は、システムの最適なクラス数を決定することです-各クラスは作成とメンテナンスに相当な労力を要するため、ユーザーとビジネスへの価値を考慮する必要があります。オフラインのテストでうまく機能するモデルと少数のMLエンジニアのチームを持つ私たちは、新たな課題に直面しました：そのモデルを私たちの本番パイプラインにシームレスに統合すること。既存の正規表現システムは、月間100万以上のトランザクションを処理し、非常に負荷の高い状態で動作していましたので、パイプライン内で低い全体的なレイテンシを維持するために動的にスケーリングできる高可用性のシステムが重要でした。当時の小さなスタートアップとして、モデルサービングソリューションを構築する代わりに購入することにしました。当時、社内でのモデルオペレーションの専門知識はなく、MLエンジニアのエネルギーを製品内のモデルのパフォーマンス向上に集中させる必要がありました。これを念頭に置いて、私たちは解決策を探しました。最初は、プロトタイピングに使用していた手作りの社内モデルホスティングソリューションをAWS SagemakerとHugging Faceの新しいモデルホスティング推論APIと比較して試してみました。データの保存にはGCPを使用し、モデルトレーニングにはGoogle Vertex Pipelinesを使用していたため、AWS Sagemakerへのモデルのエクスポートは不便でバグがありました。幸いなことに、Hugging Faceの設定は迅速かつ簡単であり、1週間以内に一部のトラフィックを処理することができました。Hugging Faceはそのまま動作し、この摩擦の低減により、私たちはこの道を進むことになりました。約3か月にわたる評価期間の後、私たちはHugging Faceをモデルのホスティングに選びました。この期間中、トランザクションのボリュームを徐々に増やし、最悪のケースシナリオのボリュームに基づいた数々のシミュレートされた負荷テストを実施しました。このプロセスにより、システムを微調整し、パフォーマンスを監視し、トランザクションの拡張負荷を処理する推論APIの能力に自信を持つことができました。技術的な能力を超えて、私たちはハギングフェイスのチームとの強い関係を築きました。彼らは単なるサービスプロバイダーではなく、私たちの目標と成果に投資しているパートナーであることを発見しました。コラボレーションの初期段階で、私たちは貴重な存在であるとわかる共有のSlackチャンネルを設置しました。彼らが問題に対して迅速に対応し、積極的な問題解決のアプローチを取る姿勢には特に感銘を受けました。彼らのエンジニアやCSMは、私たちの成功への取り組みと正しい方法での取り組みを常に示しました。これにより、最終的な選択をする時に私たちは追加の自信を得ることができました。…

「ChatGPT Meme Creator Pluginを使ってミームを作成する（ビジネスを成長させるために）」

この記事では、ChatGPT Meme Creatorプラグインを使用して、実際に面白いミームを作成する方法を詳しく説明します

「Hugging Faceを使用してAmazon SageMakerでのメール分類により、クライアントの成功管理を加速する」

この記事では、SageMakerがScalableのデータサイエンスチームが効率的にデータサイエンスプロジェクトのライフサイクルを管理するのをどのようにサポートしているか、具体的にはメール分類プロジェクトについて共有しますライフサイクルは、SageMaker Studioによるデータ分析と探索の初期フェーズで始まり、SageMakerトレーニング、推論、およびHugging Face DLCを使用したモデルの実験と展開に移行し、他のAWSサービスと統合されたSageMakerパイプラインによるトレーニングパイプラインで完了します

「無料のColabでGradioとHugging Faceを使用してLLaMa 2チャットボットを作成する方法」

この記事を書いている時点では、LLaMa 2モデルが最も話題になっていますそのため、モデルとのチャット方法を学ぶ価値がありますこの記事では、Gradioを使用してチャットボットを構築する方法を学びます...

「OpenAI WhisperとHugging Chat APIを使用したビデオの要約」

イントロダクション建築家ルートヴィヒ・ミース・ファン・デル・ローエが有名になったように、「少ないことがより多い」ということは、要約の意味です。要約は、膨大なテキストコンテンツを簡潔で関連性のある要素にまとめるための重要なツールであり、現代の情報消費スピードに適したものです。テキストアプリケーションでは、要約は情報の検索を支援し、意思決定をサポートします。Generative AI（OpenAI GPT-3ベースのモデルなど）の統合により、テキストから重要な要素を抽出し、ソースの本質を保持したまま意味のある要約を生成するというプロセスが革新されました。興味深いことに、Generative AIの機能は、テキストにとどまらず、ビデオ要約にも広がっています。これには、ビデオから重要なシーン、対話、概念を抽出し、コンテンツの要約を作成することが含まれます。ビデオ要約は、短い要約ビデオを生成したり、ビデオコンテンツの分析を行ったり、ビデオのキーセクションを強調表示したり、ビデオのテキスト要約を作成するなど、さまざまな方法で実現できます。 Open AI Whisper APIは、自動音声認識技術を活用して話された言語を書かれたテキストに変換することで、テキストの要約の正確さと効率性を向上させます。一方、Hugging Face Chat APIは、GPT-3などの最先端の言語モデルを提供します。学習目標この記事では、以下のことを学びます：ビデオ要約の技術について学ぶビデオ要約の応用について理解する Open AI Whisperモデルのアーキテクチャを探索する Open AI WhisperとHugging Chat APIを使用してビデオテキスト要約を実装する方法を学ぶ…

「HuggingFaceを使用したLlama 2 7B Fine-TunedモデルのGPTQ量子化」

前の記事では、Meta AIが最近リリースした新しいLlama 2モデルを使用して、わずか数行のコードでPythonコードジェネレータを構築する方法を紹介しました今回は、...と説明します

Learn more about Search Results Gin - Page 3