Search Results Gin

HuggingFaceはTextEnvironmentsを紹介します：機械学習モデルと、モデルが特定のタスクを解決するために呼び出すことができる一連のツール（Python関数）の間のオーケストレーターです

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-03-at-11.55.50-AM-1024×581.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-03-at-11.55.50-AM-150×150.png”/><p>Supervised Fine-tuning (SFT), Reward Modeling (RM), and Proximal Policy Optimization (PPO) are all part of TRL. In this full-stack library,…

SCD（Slowly Changing Dimensions）を理解する

データ管理のダイナミックな領域において、時間をかけて変化する寸法（Slowly Changing Dimensions、SCD）の概念が重要なパラダイムとして浮かび上がります SCDは、データウェアハウジングの領域において基本的な原則を構成します...

機械学習のオープンデータセットを作成中ですか？ Hugging Face Hubで共有しましょう！

このブログ投稿は誰のためですか？データ集中型の研究を行っている研究者ですか？研究の一環として、おそらく機械学習モデルの訓練や評価のためにデータセットを作成しており、多くの研究者がGoogle Drive、OneDrive、または個人のサーバーを介してこれらのデータセットを共有している可能性があります。この投稿では、代わりにHugging Face Hubでこれらのデータセットを共有することを検討する理由を説明します。この記事では以下を概説します：なぜ研究者はデータを公開共有すべきか（すでに説得されている場合は、このセクションはスキップしてください）研究者がデータセットを共有したい場合のHugging Face Hubのオファー Hugging Face Hubでデータセットを共有するための始め方のリソースなぜデータを共有するのですか？機械学習は、さまざまな分野でますます利用され、多様な問題の解決における研究効率を高めています。特にタスクやドメインに特化した新しい機械学習手法を開発する際には、データがモデルの訓練や評価において重要です。大規模な言語モデルは、生物医学のエンティティ抽出のような特殊なタスクではうまく機能せず、コンピュータビジョンモデルはドメイン特化の画像の分類に苦労するかもしれません。ドメイン固有のデータセットは、既存のモデルの限界を克服するために、機械学習モデルの評価と訓練に重要です。ただし、これらのデータセットを作成することは困難であり、データの注釈付けには相当な時間、リソース、およびドメインの専門知識が必要です。このデータの最大の影響を最大化することは、関係する研究者と各自の分野の両方にとって重要です。 Hugging Face Hubは、この最大の影響を実現するのに役立ちます。 Hugging Face Hubとは何ですか？ Hugging Face…

「Hugging Face AutoTrainを使用して、LLM（Language Model）を微調整する方法」

このツールを使えば、簡単に私たちのLLM能力を向上させることができます

language models

Note This translation conveys the same meaning as the original English phrase, which refers to going from a state of poverty to wealth.

大規模言語モデル（LLM）が世界中を席巻している中、ベクトル検索エンジンも同行していますベクトルデータベースは、LLMの長期記憶システムの基盤を形成しています...

「Hugging Face の推論エンドポイントを使用して埋め込みモデルを展開する」

Generative AIやChatGPTのようなLLMsの台頭により、様々なタスクの組み込みモデルへの関心と重要性が高まっています。特に検索や自分のデータとのチャットなどのリトリーバル・オーグメント生成のために、埋め込みモデルは役立ちます。埋め込みは、文、画像、単語などを数値ベクトル表現として表現するため、意味的に関連するアイテムをマッピングし、役立つ情報を取得することができます。これにより、質と特定性を向上させるための関連コンテキストをプロンプトに提供することができます。 LLMsと比較して、埋め込みモデルはサイズが小さく、推論が早いです。このため、モデルを変更したり、モデルの微調整を改善した後に埋め込みを再作成する必要があるため、非常に重要です。また、リトリーバルのオーグメントプロセス全体ができるだけ高速であることも重要です。これにより、良いユーザーエクスペリエンスを提供することができます。このブログ記事では、オープンソースの埋め込みモデルをHugging Face Inference Endpointsに展開する方法と、モデルを展開するのを簡単にするマネージドSaaSソリューションであるText Embedding Inferenceの使用方法を紹介します。さらに、大規模なバッチリクエストの実行方法も説明します。 Hugging Face Inference Endpointsとは何か Text Embedding Inferenceとは何か埋め込みモデルをインファレンスエンドポイントとして展開する方法エンドポイントにリクエストを送信し、埋め込みを作成する方法始める前に、インファレンスエンドポイントについての知識をリフレッシュしましょう。 1. Hugging Face Inference Endpointsとは何ですか？…

一行のコードでHuggingfaceのデータセットを対話的に探索する

ハギングフェイスデータセットライブラリは、70,000以上の公開データセットにアクセスするだけでなく、カスタムデータセットのための非常に便利なデータ準備パイプラインも提供しています。 Renumics Spotlightを使用すると、データ内の重要なクラスターを特定するためのインタラクティブな可視化を作成することができます。SpotlightはHugging Faceデータセット内のデータセマンティクスを理解しているため、たった1行のコードで始めることができます： import datasetsfrom renumics import spotlightds = datasets.load_dataset('speech_commands', 'v0.01', split='validation')spotlight.show(ds) Spotlightを使用すると、予測や埋め込みなどのモデル結果を活用して、データセグメントやモデルの失敗モードに対するより深い理解を得ることができます： ds_results = datasets.load_dataset('renumics/speech_commands-ast-finetuned-results', 'v0.01', split='validation')ds = datasets.concatenate_datasets([ds, ds_results],…

「ChatGPTのためにNGINXを使用してOpenAIリバースプロキシを設定する」

「ChatGPT OpenAIリバースプロキシとNGINXのステップバイステップの手順で、Janitor AIや他のサービスへのシームレスな統合を実現します」

Diginiのスマートセンスの社長、ガイ・イエヒアブによるインタビューシリーズ

ガイ・イハイアヴ氏は、ビジネスの成功に最も重要な資産を保護するためにインターネット・オブ・シングス（IoT）の力を活用するために作成されたSmartSenseの社長ですガイ氏は小売り、CPG、サプライチェーン、複雑な製造における思想リーダーとして認識されており、成功を収めてきた証明された実績を持っています

「Non-engineers guide LLaMA 2チャットボットのトレーニング」となります

イントロダクションこのチュートリアルでは、誰でも一行のコードを書かずにオープンソースのChatGPTを構築する方法を紹介します！LLaMA 2ベースモデルを使用し、オープンソースのインストラクションデータセットでチャット用に微調整し、そのモデルを友達と共有できるチャットアプリにデプロイします。クリックだけで偉大さへの道を歩むことができます。😀 なぜこれが重要なのか？特にLLM（Large Language Models）を含む機械学習は、私たちの個人生活やビジネスにおいて重要なツールとなり、過去に例のないほど人気が高まっています。しかし、MLエンジニアリングの専門的なニッチ分野ではないほとんどの人々にとって、これらのモデルのトレーニングとデプロイメントの複雑さは手が届かないもののように思えます。機械学習の予想される未来が普遍的な個別のモデルで満たされるものになるのであれば、非技術的なバックグラウンドを持つ人々にこの技術を独自に活用する力を与えるには、将来的に課題が待ち受けています。 Hugging Faceでは、この包括的な未来への道を静かに築くために働いてきました。Spaces、AutoTrain、Inference Endpointsなどのツール群は、機械学習の世界を誰にでもアクセス可能にするために設計されています。このチュートリアルでは、この民主的な未来がどれだけアクセス可能であるかを示すために、チャットアプリを構築するためにSpaces、AutoTrain、ChatUIを使用する方法を3つの簡単なステップで紹介します。コンテキストとして、私はMLエンジニアではなく、Hugging FaceのGTMチームのメンバーです。私がこれをできるなら、あなたもできます！さあ、始めましょう！ Spacesの紹介 Hugging FaceのSpacesは、MLデモやアプリの構築とデプロイを簡単に行うためのGUIを提供するサービスです。このサービスを使用すると、GradioやStreamlitのフロントエンドを使用して素早くMLデモを構築したり、独自のアプリをDockerコンテナにアップロードしたり、あるいは事前に設定された複数のMLアプリケーションを即座にデプロイしたりすることができます。このチュートリアルでは、Spacesからの事前構成済みのDockerアプリケーションテンプレート、AutoTrainとChatUIをデプロイします。 Spacesについてもっと詳しくはこちらをご覧ください。 AutoTrainの紹介 AutoTrainは、MLエンジニアでない（または開発者でない😮）人々がコードを書かずに最先端のMLモデルをトレーニングするためのノーコードツールです。NLP、コンピュータビジョン、音声、表形式のデータなどに使用することができ、今日行うようなLLMの微調整にも使用できます。 AutoTrainについてもっと詳しくはこちらをご覧ください。 ChatUIの紹介 ChatUIはその名の通りです。Hugging Faceが提供するオープンソースのUIで、オープンソースのLLMsと対話するためのインターフェースを提供します。特に、HuggingChatという完全オープンソースのChatGPTの代替としても使用されています。 ChatUIについてもっと詳しくはこちらをご覧ください。ステップ1：新しいAutoTrain…

Learn more about Search Results Gin - Page 2