Search Results huggingface.co

Hukkufubu ni storeshien no chihō o shōkai suru

私たちのエンタープライズハブプランの一環として、最近ストレージリージョンのサポートを提供しました。リージョンを使用すると、組織のモデルとデータセットを保存する場所を決めることができます。これには次の2つの主な利点がありますが、このブログ記事では簡単に説明します：規制と法的遵守、より一般的にはデジタル主権の向上パフォーマンス（高速なダウンロードとアップロード、遅延の改善）現在、以下のリージョンをサポートしています：米国 🇺🇸 EU 🇪🇺 近日公開予定：アジア・太平洋 🌏 しかし、まずは組織の設定でこの機能をセットアップする方法を見てみましょう 🔥 組織の設定もしもあなたの組織がまだエンタープライズハブ組織でない場合、以下の画面が表示されます：サブスクリプションを開始すると、以下のリージョン設定のページが表示されます：そのページでは以下の情報が表示されます：組織のリポジトリの現在の場所の監査リポジトリを作成する場所を選択するためのドロップダウンリポジトリタグデフォルトの場所以外に保存されている任意のリポジトリ（モデルまたはデータセット）は、直接リージョンとしてタグとして表示されます。これにより、組織のメンバーはリポジトリの場所を一目で確認することができます。規制と法的遵守多くの規制された業界では、データを特定の地域に保存する要件がある場合があります。 EUの企業の場合、Hubを使用してデータセット、モデル、インファレンスエンドポイントをすべてEUのデータセンター内でGDPRに準拠した方法で構築することができます。…

CI/CDパイプライン：Azure上のデータ処理アプリケーションのためのパート1：コンテナインスタンス

「手動でAzureや他のクラウドプロバイダにリソースを作成および展開することは比較的簡単であり、場合によっては十分であるかもしれませんしかし、ほとんどの場合、展開されたリソースは変更が必要になるでしょう...」

「Xenovaのテキスト読み上げクライアントツール：自然な音声合成を実現する頑強で柔軟なAIプラットフォーム」

テキスト読み上げ（TTS）技術の発展により、Xenovaが提供するテキスト読み上げクライアントなど、印象的な製品が開発されました。このクライアントでは、最新のトランスフォーマーベースのニューラルネットワーク設計を使用して、さまざまな言語と声で、自然な音声合成を行います。 XenovaのTTSクライアントのいくつかのハイライトは次のとおりです：優れた品質の合成音声：XenovaのTTSクライアントは、長文や複雑なテキストでも人間の声と区別がつかない合成音声を生成できます。 XenovaのTTSクライアントは、数多くのアメリカとアジアの声をサポートしています。 XenovaのTTSクライアントでは話す速度を微調整することができ、音声合成に対して細かな制御ができます。 TTS技術に関する専門知識がないユーザーでも、XenovaのTTSクライアントは直感的で使いやすいです。 Xenovaのテキスト読み上げクライアントには、いくつかの潜在的な応用があります： XenovaのTTSクライアントは、eラーニングコース、製品デモ、チュートリアルなど、教育やトレーニング資料のためのプロフェッショナルな音声を生成できます。 XenovaのTTSクライアントのヘルプを受けて、視覚障害を持つ人にアクセス可能なメディアを作成することができます。映画や写真のための音声説明を生成できます。 Xenovaのクライアントなどのテキスト読み上げ（TTS）ソフトウェアを使えば、書かれた資料をオーディオブックやポッドキャストに変換できます。 XenovaのTTSクライアントは、音声アシスタントやチャットボットのためにリアルな興味深いスピーチを作成するために利用できます。 Xenovaのテキスト読み上げクライアントを使うには、オンラインデモを試してみるか、クライアントをダウンロードしてインストールすることから始めましょう。クライアントのインストールは簡単で迅速ですし、オンラインデモを使って最初にテストすることもできます。クライアントのインストール後は、テキストエディタに単語を入力し、「生成」オプションを選択することで合成音声の生成を開始できます。話者や声はそれぞれのプルダウンメニューから選ぶことができます。生成された音声はダウンロードすることもできます。 https://huggingface.co/spaces/Xenova/text-to-speech-client で試してみましょう高品質の合成音声が必要な場合は、Xenovaのテキスト読み上げクライアントを超えて考えてみましょう。音声アシスタントやチャットボットの作成、教育やトレーニング資料のためのオーディオコンテンツの作成、オーディオブックやポッドキャストの生成、映画や画像のオーディオ説明の生成など、さまざまな応用があります。 Xenovaのテキスト読み上げクライアントは、高品質なTTSソリューションを必要とする場合においても操作が簡単な優れた選択です。

機械学習のオープンデータセットを作成中ですか？ Hugging Face Hubで共有しましょう！

このブログ投稿は誰のためですか？データ集中型の研究を行っている研究者ですか？研究の一環として、おそらく機械学習モデルの訓練や評価のためにデータセットを作成しており、多くの研究者がGoogle Drive、OneDrive、または個人のサーバーを介してこれらのデータセットを共有している可能性があります。この投稿では、代わりにHugging Face Hubでこれらのデータセットを共有することを検討する理由を説明します。この記事では以下を概説します：なぜ研究者はデータを公開共有すべきか（すでに説得されている場合は、このセクションはスキップしてください）研究者がデータセットを共有したい場合のHugging Face Hubのオファー Hugging Face Hubでデータセットを共有するための始め方のリソースなぜデータを共有するのですか？機械学習は、さまざまな分野でますます利用され、多様な問題の解決における研究効率を高めています。特にタスクやドメインに特化した新しい機械学習手法を開発する際には、データがモデルの訓練や評価において重要です。大規模な言語モデルは、生物医学のエンティティ抽出のような特殊なタスクではうまく機能せず、コンピュータビジョンモデルはドメイン特化の画像の分類に苦労するかもしれません。ドメイン固有のデータセットは、既存のモデルの限界を克服するために、機械学習モデルの評価と訓練に重要です。ただし、これらのデータセットを作成することは困難であり、データの注釈付けには相当な時間、リソース、およびドメインの専門知識が必要です。このデータの最大の影響を最大化することは、関係する研究者と各自の分野の両方にとって重要です。 Hugging Face Hubは、この最大の影響を実現するのに役立ちます。 Hugging Face Hubとは何ですか？ Hugging Face…

私の個人的なコパイロット：自分自身のコーディングアシスタントをトレーニングする

プログラミングとソフトウェア開発の常に進化する風景において、効率と生産性の追求は非凡なイノベーションにつながってきました。そのようなイノベーションの一つが、Codex、StarCoder、そしてCode Llamaといったコード生成モデルの登場です。これらのモデルは、人間のようなコードの断片を生成する能力を示し、コーディングアシスタントとしての無限の潜在能力を持っています。しかし、これらの事前学習済みモデルは、さまざまなタスクにおいて印象的なパフォーマンスを発揮する一方で、まだまだ未来に待ち受けている魅力的な可能性も存在します。それは、特定のニーズに合わせてコード生成モデルをカスタマイズできる能力です。エンタープライズスケールで活用できる個人別のコーディングアシスタントを想像してみてください。このブログ投稿では、私たちがどのようにHugCoder 🤗を作成したかを紹介します。HugCoderは、huggingface GitHubの公開リポジトリからのコード内容に対して、コードLLMでファインチューニングを行ったものです。データの収集ワークフローやトレーニング実験、興味深い結果についても話します。これにより、プロプライエタリなコードベースに基づいた独自のパートナーを作成することができます。さらなるこのプロジェクトの拡張のアイデアもいくつかご提案します。では、始めましょう 🚀 データ収集のワークフロー私たちが望むデータセットは、概念的にはシンプルで、次のような構造になっています。 Githubからのコード内容のスクレイピングは、PythonのGitHub APIを用いれば簡単です。ただし、リポジトリの数やリポジトリ内のコードファイルの数に応じて、APIのレート制限に達する可能性があります。そのような問題を防ぐために、私たちは公開リポジトリをすべてローカルにクローンし、APIではなくそれらからコンテンツを抽出することにしました。ダウンロードスクリプトでは、Pythonのmultiprocessingモジュールを使用して、すべてのリポジトリを並列にダウンロードしました。詳細な実装については、このダウンロードスクリプトを参照してください。リポジトリにはしばしば画像やプレゼンテーションなどの非コードファイルが含まれていますが、私たちはそれらをスクレイピングすることには興味がありません。これらを除外するために、拡張子のリストを作成しました。Jupyter Notebook以外のコードファイルを解析するために、私たちは単純に「utf-8」エンコーディングを使用しました。ノートブックの場合は、コードセルのみを考慮しました。また、コードと直接関係のないファイルパスはすべて除外しました。これには、.git、__pycache__、およびxcodeprojなどが含まれます。このコンテンツのシリアライズを比較的メモリにやさしいものにするために、私たちはチャンキングとfeather形式を使用しました。フルの実装については、こちらのスクリプトを参照してください。最終的なデータセットは、Hubで利用可能であり、以下のような見た目をしています：このブログでは、stargazersに基づいて、Hugging Faceの最も人気のある10つのパブリックリポジトリを考慮しました。それらは次のとおりです： [‘transformers’, ‘pytorch-image-models’, ‘datasets’, ‘diffusers’,…

「OWLv2のご紹介：ゼロショット物体検出におけるGoogleのブレークスルー」

はじめに 2023年も終わりが近づいていますが、コンピュータビジョンコミュニティにとっての興奮するニュースは、Googleが最近OWLv2のリリースとともにゼロショットオブジェクト検出の世界で大きな進歩を遂げたことです。この最新モデルは🤗 Transformersで利用可能であり、これまでに存在する中でも最も堅牢なゼロショットオブジェクト検出システムの1つを表しています。これは昨年に導入されたOWL-ViT v1の基盤を築いています。この記事では、このモデルの動作とアーキテクチャを紹介し、推論を実行する実用的なアプローチを見ていきます。さあ、始めましょう。学習目標コンピュータビジョンにおけるゼロショットオブジェクト検出の概念を理解する。 GoogleのOWLv2モデルの背後にある技術とセルフトレーニングのアプローチについて学ぶ。 OWLv2の使用に必要な実用的なアプローチ。この記事はデータサイエンスブログマラソンの一環として公開されました。 OWLv2の技術 OWLv2の印象的な機能は、その革新的なセルフトレーニングのアプローチによるものです。このモデルは、10億以上の例から成るウェブスケールデータセットでトレーニングされました。これを達成するために、著者たちはOWL-ViT v1の強力さを活用し、そのモデルを使用して擬似ラベルを生成し、それを使ってOWLv2をトレーニングしました。さらに、モデルは検出データ上で微調整され、それによって先行モデルであるOWL-ViT v1に比べて性能が向上しました。セルフトレーニングによってオープンワールドの位置特定のウェブスケールトレーニングが可能になり、オブジェクトの分類や言語モデリングで見られるトレンドに倣っています。 OWLv2のアーキテクチャ OWLv2のアーキテクチャはOWL-ViTと似ていますが、オブジェクト検出のヘッドに注目すべき追加があります。これにより、予測ボックスがオブジェクトを含む可能性を予測するオブジェクト性の分類器が含まれるようになりました。オブジェクト性スコアは洞察を提供し、テキストクエリに関係なく予測を順位付けやフィルタリングするために使用することができます。ゼロショットオブジェクト検出ゼロショット学習は、GenAIのトレンド以来一般的になった新しい用語です。これは、主に大規模言語モデル（LLM）の微調整で見られます。これは、いくつかのデータを使用してベースモデルを微調整し、モデルが新しいカテゴリに対応するようにすることを指します。ゼロショットオブジェクト検出はコンピュータビジョンの分野で画期的なものです。これは、手動で注釈付けされたバウンディングボックスの必要がなくなり、モデルが画像内のオブジェクトを検出する能力を向上させます。これによりプロセスがスピードアップし、手動の注釈が不要になるため、人間にとっては魅力的で、退屈ではありません。 OWLv2の使い方 OWLv2はOWL-ViTと同様のアプローチを採用していますが、更新されたイメージプロセッサOwlv2ImageProcessorを特徴としています。さらに、モデルはテキストのエンコードにCLIPTokenizerを使用しています。Owlv2ProcessorはOwlv2ImageProcessorとCLIPTokenizerを組み合わせた便利なツールであり、テキストのエンコードプロセスを簡素化します。以下に、Owlv2ProcessorとOwlv2ForObjectDetectionを使用してオブジェクト検出を実行する方法の例を示します。…

「Hugging Face の推論エンドポイントを使用して埋め込みモデルを展開する」

Generative AIやChatGPTのようなLLMsの台頭により、様々なタスクの組み込みモデルへの関心と重要性が高まっています。特に検索や自分のデータとのチャットなどのリトリーバル・オーグメント生成のために、埋め込みモデルは役立ちます。埋め込みは、文、画像、単語などを数値ベクトル表現として表現するため、意味的に関連するアイテムをマッピングし、役立つ情報を取得することができます。これにより、質と特定性を向上させるための関連コンテキストをプロンプトに提供することができます。 LLMsと比較して、埋め込みモデルはサイズが小さく、推論が早いです。このため、モデルを変更したり、モデルの微調整を改善した後に埋め込みを再作成する必要があるため、非常に重要です。また、リトリーバルのオーグメントプロセス全体ができるだけ高速であることも重要です。これにより、良いユーザーエクスペリエンスを提供することができます。このブログ記事では、オープンソースの埋め込みモデルをHugging Face Inference Endpointsに展開する方法と、モデルを展開するのを簡単にするマネージドSaaSソリューションであるText Embedding Inferenceの使用方法を紹介します。さらに、大規模なバッチリクエストの実行方法も説明します。 Hugging Face Inference Endpointsとは何か Text Embedding Inferenceとは何か埋め込みモデルをインファレンスエンドポイントとして展開する方法エンドポイントにリクエストを送信し、埋め込みを作成する方法始める前に、インファレンスエンドポイントについての知識をリフレッシュしましょう。 1. Hugging Face Inference Endpointsとは何ですか？…

一行のコードでHuggingfaceのデータセットを対話的に探索する

ハギングフェイスデータセットライブラリは、70,000以上の公開データセットにアクセスするだけでなく、カスタムデータセットのための非常に便利なデータ準備パイプラインも提供しています。 Renumics Spotlightを使用すると、データ内の重要なクラスターを特定するためのインタラクティブな可視化を作成することができます。SpotlightはHugging Faceデータセット内のデータセマンティクスを理解しているため、たった1行のコードで始めることができます： import datasetsfrom renumics import spotlightds = datasets.load_dataset('speech_commands', 'v0.01', split='validation')spotlight.show(ds) Spotlightを使用すると、予測や埋め込みなどのモデル結果を活用して、データセグメントやモデルの失敗モードに対するより深い理解を得ることができます： ds_results = datasets.load_dataset('renumics/speech_commands-ast-finetuned-results', 'v0.01', split='validation')ds = datasets.concatenate_datasets([ds, ds_results],…

LoRa、QLoRA、およびQA-LoRa：低ランク行列分解を通じた大規模言語モデルの効率的な適応性

大型言語モデル（LLM）は、人間のようなテキストを理解し生成するという非常に優れた能力を持つ特異な領域を切り開いてきましたLLMのすごさは、膨大な数のパラメータを持っていることに起因していますこの巨大なスケールがパフォーマンスを引き上げる一方で、特定のモデルへの適応においては課題も生じます

あなたのRAGベースのLLMシステムの成功を測る方法

「リサーチ・オーグメンテッド・ジェネレーション、またはRAG、は今年登場した大規模言語モデル（LLM）の最も一般的な使用例ですテキストの要約や生成はしばしば焦点となりますが...」

Learn more about Search Results huggingface.co - Page 4